Специалисты из Вашингтонского университета под руководством Эли Шлицермана создали нейросеть, способную "озвучивать" игру на фортепиано на основании видеозаписи без звука. Алгоритм учитывает не только сами ноты, но и их длительность.
Как отмечается, разработка основана на сверточной нейросети ResNet18 и дополнен модулем внимания, что позволяет замечать нажатые кадры с высокой точностью.