Сигнали людського мозку використали, щоб зробити міркування мовної моделі надійнішими
Внутрішні представлення мовних моделей порівнювали з мозковою активністю людей під час дедуктивних задач. Мозкові сигнали використали як додатковий навчальний орієнтир для покращення reasoning-поведінки.
Мозкова активність як додатковий навчальний сигнал
Ідея використати мозкову активність як навчальний сигнал цікава тим, що правильна відповідь сама по собі не показує, як до неї дійшли. Дві системи можуть однаково розв’язати логічну задачу, але використовувати зовсім різні внутрішні представлення. Нейродані дають додаткове обмеження на проміжну структуру.
Дослідники шукають кореляції між activation patterns моделі та нейронними сигналами людини під час міркування. Якщо певні представлення узгоджуються краще, їх можна використати як допоміжну ціль під час навчання. Це не копія мозку, а спосіб додати до loss function інформацію про людський спосіб організації задачі.
Нейронаука не перетворює LLM на мозок
Потенційна користь — більш стійке перенесення логічних правил на нові приклади. Якщо модель вчиться не лише запам’ятовувати поверхневі шаблони, а формувати представлення, ближчі до структури людського reasoning, вона може менше залежати від формулювання задачі.
Головне обмеження — якість нейровимірювань. fMRI, EEG та інші методи мають різну часову й просторову роздільну здатність, а мозок кожної людини відрізняється. Тому brain-aligned training поки слід розглядати як дослідницьку ідею, а не готовий рецепт створення надійних LLM.
Схожість представлень не означає, що мозок і LLM міркують однаково.
Окрема інженерна задача для «brain signals для LLM reasoning» — вартість. Якщо невелике покращення якості потребує в рази більше пам’яті, часу або зовнішніх сервісів, система може програти простішому підходу. Для теми «Сигнали людського мозку використали, щоб зробити міркування мовної моделі надійнішими» корисно оцінювати точність разом із latency, ресурсами та можливістю відтворити результат.
У випадку «Сигнали людського мозку використали, щоб зробити міркування мовної моделі надійнішими» варто дивитися на calibration: наскільки впевненість моделі відповідає реальній частоті помилок. Для «brain signals для LLM reasoning» це особливо важливо там, де людина приймає рішення на основі прогнозу. Добре відкалібрований інструмент може бути кориснішим за модель із трохи вищою середньою точністю, але непередбачуваною впевненістю.
