Мультимодальні моделі все ще плутаються у просторових звʼязках на схемах
Сучасний мультимодальний штучний інтелект може впевнено описати фотографію й правильно відповісти, які предмети на ній зображені. Але технічна схема потребує іншої здатності: модель має зрозуміти, що з чим зʼєднано, де проходить стрілка і який елемент розташований між двома іншими. Саме на таких завданнях візуальне міркування часто виявляється менш надійним.
Одна причина — різниця між розпізнаванням окремих деталей та побудовою структури сцени. Модель може «бачити» всі підписи, але помилятися, який саме підпис належить до конкретного блоку. У складних діаграмах навіть невелика помилка просторової привʼязки змінює весь висновок.
Чому схема складніша за звичайний знімок
На фотографії багато звʼязків підказує життєвий досвід: чашка стоїть на столі, людина тримає телефон. На схемі умовні символи та лінії можуть представляти абстрактну електричну або логічну систему. Для правильного читання потрібно зберігати точні координати й послідовність переходів.
Деякі тестові завдання навмисно змінюють лише одну стрілку або переставляють два підписи. Якщо відповідь моделі різко змінюється чи залишається впевнено хибною, це показує обмеження її просторового представлення, а не просто недостатній словниковий запас.
Як підвищують надійність аналізу діаграм
Один із підходів — розділити роботу на етапи: спочатку виділити вузли, потім встановити звʼязки, перевірити геометрію і лише після цього формувати текстову відповідь. Важливу роль можуть відігравати інструменти компʼютерного зору, які явно зберігають координати.
Для реальних систем результат потрібно перевіряти на схемах того самого типу, з якими працюватимуть користувачі. Висока загальна оцінка на фотографіях не є достатнім доказом придатності для електричних креслень, медичних графіків чи технічних планів. Надійний ШІ повинен не лише відповідати, а й показувати межі своєї впевненості.
Корисним тестом для просторового ШІ є здатність пояснити власну інтерпретацію через конкретні вузли та звʼязки на схемі. Якщо система не може вказати, звідки взяла напрямок стрілки, довіряти її підсумковому висновку ризиковано.
Ще одна складність полягає в різних роздільних здатностях діаграм. Маленька схема в документі може втратити стрілки або крапки зʼєднання під час стискання. Тому інженерна система повинна не лише «міркувати» про зображення, а й забезпечувати достатню якість оцифрування й можливість перевірити сумнівну деталь.
