Специалисты «показали» программе около двух миллионов никак не подписанных видеороликов, суммарная продолжительность которых составляет около двух лет. При этом все ролики можно было разделить на четыре категории — «прибытие поезда», «занятия по гольфу», «пляж» и «младенцы», однако программа должна была об этом «догадаться» сама. Впоследствии алгоритм, опираясь на полученную информацию, должен был сам превращать статичные фотографии в видеоролики, демонстрирующие, как могли бы развиваться дальнейшие события на изображении.
«Оживлять» фотографии программе удаётся с помощью двух нейросетей, первая из которых пытается сгенерировать правдоподобный ролик, а вторая — критически его оценивает, пытаясь найти несоответствия между получившимся результатом и «эталонными» видеозаписями, просмотренными ранее.
Некоторые задачи алгоритм уже выполняет довольно неплохо — в частности, он способен изобразить в целом правдоподобное движение волн. Однако пока нельзя сказать, что программа справляется с поставленной перед ней задачей идеально — движущиеся на «оживших» фотографиях фигуры, чаще всего, приобретают странные очертания, а порой без необходимости меняют цвет.
Впрочем, превращение фотографий в видеоролики, по мнению специалистов — отнюдь не единственное потенциальное применение для создаваемой ими технологии. К примеру, способность «предвидеть будущее» могла бы оказаться весьма ценной для систем безопасности, беспилотных автомобилей и многого другого.
В подробностях рассказать о своей разработке специалисты планируют в ходе научной конференции, которая пройдёт в Барселоне 5 декабря. В будущем они рассчитывают научить программу создавать более продолжительные ролики с лучшим разрешением.
