В команду победителей также входили старшие исследователи Института искусственного интеллекта AIRI Дмитрий Соркин и Иван Назаров, а также старший исследователь Лаборатории по ИИ Сбербанка Никита Овсов. Всего в конкурсе, организованном Facebook AI и DeepMind, приняло участие около 500 человек из 42 двух команд со всего мира. Соревнование прошло в рамках одной из ведущих конференций по машинному обучению NeurIPS 2021.
Научно-исследовательский институт искусственного интеллекта AIRI — автономная некоммерческая организация созданная при поддержке Сбербанка, занимающаяся фундаментальными и прикладными исследованиями в области ИИ. Его основная цель — создание универсальных систем ИИ для решения задач реального мира.
Задачей конкурса мирового уровня NetHackChallenge была разработка ИИ, который сможет успешно пройти полную игру NetHack или набрать как можно более высокий балл. Эта игра считается одной из самых сложных в мире. Ее используют для оценки прогресса в обучении ИИ. Именно это игра выбрана не случайно, на данный момент нейросетисправляются с ней гораздо хуже, чем с более классическими играми: го, шахматами, Dota 2 или Starcraft, которые модели машинного обучения освоили уже давно. Главная трудность состоит в том, что в NetHack слишком много возможностей исхода событий, в ней нет заранее известной стратегии. Эти условия делают ее максимально приближенной к условиям реального мира. Поэтому, навыки, которые получит ИИ, пройдя игру, впоследствии, можно будет использовать для решения жизненных ситуаций.
«Победа нашей команды на таком престижном международном соревновании в очередной раз подчёркивает высокий уровень российских специалистов в области искусственного интеллекта и машинного обучения. Решения, предложенные участниками конкурса, имеют гораздо более широкое применение, чем компьютерная игра. Прогресс в решении подобных задач приведёт к новым открытиям в области робототехники, например, для совершенствования работы беспилотных автомобилей и роботов-курьеров, а также в таких областях, как автоматизация тестирования пользовательских интерфейсов», - прокомментировал первый заместитель Председателя Правления Сбербанка Александр Ведяхин.
Учёным Сбера и AIRI удалось построить иерархию навыков, которыми должен обладать ИИ для игры в NetHack, на основе применения как классических подходов к машинному обучению, так и современных методов на основе обучения с подкреплением.
Обучение с подкреплением — это метод обучения ИИ, на основе обратной связи от взаимодействия со средой, например, игрой, или реальным миром. Он использовался для победы ИИ в игре го (AlphaGo) и многих известных играх, например, StarCraft(AlphaStar), Dota 2 (OpenAI Five). Этот метод начинает активно применяться для задач управления роботами, торговли на бирже, управления логистикой и во множестве других областей.
Отметим, конференция и семинар по системам обработки нейронной информации (сокращенно NeurIPS, ранее NIPS) — это конференция по машинному обучению и вычислительной нейробиологии, которая проводится с 1987 года. NeurIPS — старейшая и наиболее авторитетная конференция для специалистов по машинному обучению в мире.
