Невероятный результат был получен в Калифорнийском университете (Беркли/США): испытуемым показывали разные ролики с YouTube (фрагменты кинолент, трейлеры и др.), в то время как магнитно-резонансный томограф детально записывал активность клеток в различных частях зрительной коры. По этой информации учёные сумели реконструировать просмотренные кадры в цвете и динамике (см ролик ниже).
Качество этих восстановленных роликов может кому-то показаться неважным, но это несравненно лучше и точнее, чем то, что удалось получить «из головы» человека в первом эксперименте такого типа.
Исследователи, создавшие новую программу распознавания мысленных образов, сами поочерёдно выступали в роли подопытных, поскольку им приходилось проводить внутри томографа по многу часов за раз.
Для начала экспериментаторы записали картину мозговой активности при просмотре ряда трейлеров голливудских фильмов. Биологи построили трёхмерную компьютерную модель мозга с группами клеток (вокселями) и записали, как каждый воксель реагирует на изменение форм и движение предметов на экране. Так удалось получить грубое соответствие визуальной информации и процесса её обработки в коре мозга.
Для тестирования и доводки алгоритма учёные скормили ему тысячи часов от миллионов случайно взятых роликов со всё того же сервиса YouTube, получив на выходе обратный результат — смоделированную активность мозга, которая наблюдалась бы, если человек просматривал бы эти ролики.
В конце концов, алгоритм снова обратили. При просмотре людьми в томографе тестового видео компьютер подбирал из Сети 100 роликов, которые с наибольшей вероятностью должны были вызвать именно такую картину активности клеток. Далее секунда за секундой программа смешивала кадры из этих роликов, получая размытое результирующее кино, неплохо совпадавшее с тем, что человек наблюдал в реальности.
«Мы открыли окно в кино, идущее в нашем сознании», - заявил один из авторов изыскания Джек Галлант.
