Невелика мовна модель на 410 млн параметрів досягла людського рівня у стеженні за персонажами та предметами
Щоб зрозуміти історію, недостатньо правильно завершувати речення. Потрібно пам’ятати, хто куди пішов, кому належить певний предмет і як стан об’єкта змінювався протягом сюжету. Новий препринт показує, що така здатність у мовних моделей з’являється вже при масштабі приблизно 410 мільйонів параметрів — значно раніше, ніж можна було очікувати.
Дослідники порівняли моделі різного розміру з 48 людьми на природних текстових історіях різної складності. Головним завданням було entity tracking — відстеження персонажів, предметів і їхніх властивостей у контексті.
Людям заважає складність, а моделям допомагає масштаб
У людей точність падала насамперед тоді, коли історія ставала складнішою: збільшувалася кількість сутностей і взаємозв’язків. Сама довжина тексту впливала менше.
У мовних моделей картина була іншою. Уже система приблизно на 410 млн параметрів досягла рівня середнього людського учасника, а сучасні більші моделі в частині тестів перевищили людську групу.
Це не означає, що невелика модель «розуміє світ як людина». Тест вимірює конкретну функцію — здатність підтримувати внутрішній стан історії та правильно відповідати на питання про нього.
Чому результат важливий для малих моделей
У багатьох застосуваннях не потрібна гігантська універсальна система. Якщо важлива конкретна когнітивна функція, невелика модель може бути дешевшою, швидшою й придатною для локального запуску.
Відстеження сутностей потрібне помічникам, які працюють із документами, агентам у довгих діалогах, системам аналізу інструкцій і програмам, що мають пам’ятати стан задачі.
Водночас робота поки є препринтом arXiv і не пройшла повний процес рецензування в науковому журналі. Її висновки потрібно підтверджувати на інших текстах, мовах і типах завдань.
Але результат додає важливу деталь до дискусії про масштаб ШІ: деякі корисні здібності можуть виникати набагато раніше, ніж моделі досягають мільярдів або сотень мільярдів параметрів.
Дослідження також показує, що масштаб моделі не є єдиним поясненням її поведінки. Архітектура, навчальний корпус і характер завдання можуть бути не менш важливими. Тому межу у 410 млн параметрів не слід сприймати як універсальний поріг «розуміння», а лише як результат конкретного експерименту з відстеження сутностей.
