ИИ-модель, разработанная израильскими учеными, распознает по фМРТ, что видит человек
Команда ученых из Института Вейцмана разработала ИИ-модель, способную по сканам фМРТ (функциональная магнитно-резонансная томография) с высокой точностью воссоздавать изображения, которые видит человек.
Модель использует фМРТ высокого разрешения, которое позволяет получить четкий скан. Декодер скана работает сразу по двум ветках. Одна – считывает из активности мозга информацию о том, где находятся объекты, каковы их контуры, форма, ориентация и распределение цветов. Вторая – отвечает за смысл изображения: она понимает, что видит человек – грушу или яблоко. Затем диффузионная нейросеть генерирует итоговую картинку.
Чтобы преодолеть нехватку сканов фМРТ для обучения, исследователи создали дополнительный кодер. Поочередное обучение кодера и декодера позволило использовать для обучения данные без предварительного сканирования. Цикл обучения работает следующим образом. Сначала берется любое изображение из интернета (например, картинка с леопардом), которое человек никогда не видел. Модель-кодер предсказывает, как выглядел бы скан фМРТ мозга человека, если бы он смотрел на этого леопарда. Затем полученный искусственный скан подается на вход модели-декодеру, которая пытается воссоздать по нему исходное изображение. При первых попытках итоговое изображение довольно слабо напоминает леопарда. Но система сравнивает оригинал с получившейся реконструкцией и находит ошибки. Эти ошибки используются для одновременного подстраивания и улучшения работы обоих инструментов – и кодера, и декодера. Работа была представлена на конференции Cognitive Computational Neuroscience.
Созданный "универсальный кодер" требует всего около часа калибровки для нового участника вместо прежних 40 часов, что значительно удешевляет и ускоряет нейробиологические исследования. Модель уже превосходит аналоги по точности, хотя иногда допускает ошибки: например, путает собаку с козой. В будущем разработчики планируют воссоздавать по сканам фМРТ видео, аудио, сны и воображаемые образы. Модель может дать голос полностью парализованным людям.
"Чтение мыслей – это хорошее название для того, чем мы занимаемся", – отмечает соавтор исследования Михаль Ирани.
Технология уже вызывает опасения экспертов в области нейроэтики. Если технологию адаптируют под портативные ЭЭГ-гарнитуры, появится риск несанкционированного извлечения личных данных и мыслей. Но создатели пока сосредоточены на позитивных медицинских и научных перспективах проекта.
