Как говорится в пресс-релизе разработчиков, машина способна на базовом уровне «понимать» изученные тексты и даже кратко их пересказывать, давать довольно осмысленные ответы на вопросы, а также осуществлять машинный перевод и составлять истории на заданные темы. Специалисты утверждают, что GPT-2, создавая текст в том или ином жанре, способен даже придерживаться наиболее подходящего стиля.
Для обучения алгоритма были использованы восемь миллионов текстовых страниц в интернете общим «весом» около 40 гигабайт. При этом, как утверждается, база данных содержаладовольно разнообразные по стилю и тематике тексты. После того, как алгоритм прошёл обучение, он смог составлять наиболее «осмысленные» тексты с наименьшего количества попыток, если нечто похожее присутствовало в изученной им базе данных. Среди недостатков разработки учёные отмечают её стремление слишком резко сменять тему.
Специалисты не стали представлять полностью обученную модель во всеобщий доступ — по их мнению, это могло бы привести к использованию технологии «во зло». Вместо этого создатели алгоритма разместили в интернете значительно более упрощённую версию, пригодную для экспериментов, а также техническую документацию.
Стоит отметить, что самообучающиеся алгоритмы и раньше порой демонстрировали высокий класс. Например, в 2016 году робот стал финалистом японской литературной премии имени писателя-фантаста Хоси Синъити. На конкурс было отправлено около полутора тысяч работ, лишь одиннадцать из которых были написаны с привлечением искусственного интеллекта.
Читайте материал «Исследование опровергло появление агрессии у детей из-за компьютерных игр»