ШІ-зображення можуть втрачати зв’язок із конкретними роботами, на яких навчалася модель
Коли генератор зображень створює нову картинку, природно запитати: які саме роботи з навчального набору найбільше вплинули на результат? Дослідники MIT CSAIL показали, що для великих генеративних моделей на це питання часто немає простої відповіді. У міру зростання навчального набору зв’язок між окремим прикладом і конкретним згенерованим зображенням може різко слабшати.
Команда назвала цей ефект «розпадом атрибуції». Щоб перевірити його не лише статистично, дослідники створили метод, який дозволяє вилучати з навчання окреме зображення, всі роботи певного художника або всі фотографії конкретної людини, а потім порівнювати результати генерації.
Чим більший датасет, тим менше важить один приклад
На малих наборах даних окрема картинка може помітно впливати на те, що генерує модель. Але зі збільшенням кількості зображень інформація розподіляється між багатьма подібними прикладами.
У певному масштабі видалення навіть цілої групи робіт одного автора майже не змінювало конкретний вихід моделі. Це не означає, що роботи «не впливали» на навчання взагалі. Швидше, їхній внесок стає переплетеним із внеском великої кількості інших даних.
Такий результат пояснює, чому спроба приписати одне згенероване зображення конкретному навчальному прикладу може бути методологічно складною. Модель не обов’язково працює як архів, що дістає одну картинку й модифікує її.
Що дослідження не доводить
Робота не вирішує юридичні питання авторського права, ліцензування чи компенсації художникам. Факт слабкої причинної атрибуції окремого результату не означає, що навчальні дані не мали значення для створення самої моделі.
Так само не можна робити висновок, що генератор ніколи не запам’ятовує конкретні зображення. Для рідкісних або багаторазово повторених прикладів поведінка може бути іншою.
Практична цінність підходу MIT у тому, що він дає спосіб експериментально перевіряти внесок даних, а не лише здогадуватися за візуальною схожістю.
У майбутньому такі методи можуть допомогти точніше оцінювати memorization, вплив окремих джерел і наслідки видалення даних із навчальних наборів. Для генеративного ШІ це важливий крок від інтуїтивних суперечок до кількісного аналізу того, як саме великі моделі засвоюють інформацію.
