Камера майбутнього може одразу перетворювати світло на «токени» для нейромережі
Великий масив двовимірної фоточутливої пам’яті виконав direct image-to-token conversion для visual transformers, переносячи частину підготовки даних безпосередньо в сенсор.
Vision transformer бачить зображення не як суцільну фотографію, а як послідовність токенів — компактних векторів із локальною інформацією. Зазвичай перетворення пікселів на ці вектори відбувається вже після оцифрування. Direct light-to-token переносить початок цього конвеєра у саму матрицю, ще до великого потоку даних у пам’ять.
Де hardware tokenization буде корисною
Замість повного RGB-кадру, який спочатку треба записати й передати в процесор, фотосенсор формує компактні представлення, придатні для подальшої нейромережевої обробки.
Фоточутлива пам’ять одночасно реагує на світло і зберігає аналоговий стан, тому фізичний відгук можна використати як частину математичної операції. Це приклад computational sensing: камера перестає бути пасивним оком і стає першим шаром алгоритму. Виграш особливо помітний там, де більшість сирих пікселів не потрібна для кінцевого рішення.
Практичний сенс і наступні кроки
In-sensor computing може зменшити затримку й енергоспоживання в робототехніці, розумних камерах, автономному транспорті та інших edge-AI системах.
Компроміс полягає в універсальності. Звичайне зображення можна повторно використати для будь-якої моделі, а hardware tokenization заточена під конкретний формат. Тому майбутня система має або підтримувати програмовані ваги на сенсорі, або довести, що один тип токенів достатньо універсальний для багатьох visual tasks.
Спеціалізація зменшує універсальність, а для реального застосування потрібна стабільна робота при різному освітленні та надійні великі масиви.
Light-to-token підхід може особливо виграти у always-on камерах, які більшість часу шукають лише кілька ознак. Якщо сенсор відразу відкидає надлишкову інформацію, батарея не витрачається на передачу непотрібних мегапікселів. Водночас для forensic або універсальної зйомки сирий кадр усе ще матиме перевагу.
Окремою метрикою для цієї розробки стане адаптивність сенсорної токенізації. Саме її варто порівнювати між наступними поколіннями прототипів, бо вона покаже, чи зберігається перевага після переходу від одиничного експерименту до тривалої роботи в системі з реальними зовнішніми навантаженнями.
