Нейросеть научилась видеть то, что видите вы, по снимку мозга Исследователи из израильского Института Вейцмана создали ИИ, который по данным МРТ восстанавливает картинку, на которую смотрит человек. Декодер работает в две ветки: одна определяет структуру: где какие цвета и как всё расположено, другая распознаёт содержание, например «бананы на тарелке». Потом обе подсказки уходят в диффузионную модель, и она рисует итоговое изображение. Чтобы настроить систему на нового человека, хватает часа сканирования вместо прежних 40. При цене МРТ $600–1000 в час разница заметная. Обучали модель на данных восьми добровольцев, каждый посмотрел около 9000 картинок. Примерно 70% обучающих данных были синтетическими. Ошибки пока случаются: торт превращается в бутерброды, а собака в ванной становится козой похожего цвета. Дальше авторы хотят восстанавливать видео, звук, воображаемые образы и даже сны. Похожий подход уже пробуют перенести на ЭЭГ, то есть на шапочки с электродами и устройства в форме наушников. Медикам это поможет общаться с парализованными пациентами. Но эксперты предупреждают: так компании смогут вытаскивать информацию из мозга без согласия человека.
ИИ научился воссоздавать увиденные человеком изображения по МРТ
- 734
- 150
- 50
- 50
- 7
- 5
- 253
- 74
- 31
- 2
- 39
- 16
- 7
- 4
- 4
- 278
- 70
- 17
- 15
- 1
- 156
- 14
- 6
- 4
- 3
- 3
- 42
- 20
- 13
- 11
- 10
- 4
- 20
- 11
- 5
- 4
- 3
- 2
- 26
- 16
- 10
- 6
- 5
- 3
- 6
- 2
- 1
- 1