Израильские учёные разработали искусственный интеллект, способный с высокой точностью восстанавливать изображения, которые видит человек, исключительно на основе активности его мозга. Новая система Brain-IT позволяет создавать визуальные реконструкции после всего одного часа индивидуальной калибровки, тогда как предыдущим технологиям требовались десятки часов сканирования. Часть вторая — финал. Таким образом, система научилась использовать изображения, для которых реальных записей активности мозга вообще не существовало. По данным исследователей, около 70% обучающих изображений изначально не были связаны с результатами фМРТ. Сам декодер работает по двум направлениям. Одно отвечает за пространственную структуру изображения, включая композицию, расположение объектов и цвета. Другое определяет семантическое содержание — например, распознаёт, что человек видит лицо, продукт питания, животное или спортивную сцену. Полученные сведения объединяются и передаются диффузионной модели искусственного интеллекта, которая постепенно формирует итоговое изображение. Такой подход позволяет одновременно учитывать смысл увиденного и его визуальное устройство. Для решения проблемы индивидуальных различий между людьми исследователи разделили анализируемые области мозга примерно на 40 тысяч небольших трёхмерных единиц — вокселей. Использование высокоразрешающей фМРТ позволило работать с участками ткани объёмом около одного кубического миллиметра. Учёные сопоставляли активность этих участков с визуальными характеристиками изображений. Постепенно удалось обнаружить закономерности, которые повторяются у разных людей, даже если соответствующие функциональные зоны располагаются в несколько отличающихся анатомических областях. В результате энкодер самостоятельно выделил 128 функциональных областей, участвующих в обработке визуальной информации. Часть из них уже известна нейробиологам, однако некоторые обнаруженные закономерности ранее подробно не описывались. Например, исследователи выявили функциональное разделение в предклинье — области мозга, участвующей в обработке зрительной информации о местах и окружающем пространстве. Одна её часть преимущественно реагировала на изображения помещений, другая — на сцены на открытом воздухе. «Преимущество энкодера заключается в его способности определять области, выполняющие схожие функции в разных мозгах, даже если их анатомическое расположение различается», — объяснила Ирани. Это открывает дополнительные возможности для изучения работы человеческого мозга. Исследователи могут показывать модели различные варианты одного изображения и анализировать, как меняется предполагаемая активность отдельных областей. Например, сравнение цветной и чёрно-белой версий одной фотографии позволяет выяснить, какие участки мозга связаны с обработкой цвета. Аналогичным образом можно изучать механизмы распознавания объектов, пространственного восприятия и взаимодействия различных функциональных зон. Следующим направлением исследований станет декодирование слуховой информации. Учёные намерены проверить, можно ли использовать аналогичные принципы для восстановления звуков, воспринимаемых человеком. Ещё более сложная задача — реконструкция движущихся изображений и видеопоследовательностей. По словам Ирани, главное препятствие связано с ограниченной скоростью функциональной магнитно-резонансной томографии. Изображения в видео могут сменяться десятки раз за секунду, тогда как получение одного измерения фМРТ занимает около двух секунд. В перспективе исследователи хотели бы использовать такие технологии для восстановления мысленных образов и даже содержания сновидений. Однако пока Brain-IT работает прежде всего с визуальными стимулами, которые человек действительно наблюдает во время сканирования. Telegram · MAX · RUTUBE · ВКонтакте ❤️Поддержать канал
- 18
- 12
- 6
- 2
- 1