Внедрение больших языковых моделей в академическую среду столкнулось с серьёзной проблемой: как показало исследование австралийских учёных из Университета Дикина, искусственный интеллект демонстрирует тревожную склонность к фальсификации научных ссылок. Специалисты протестировали чат-GPT, поручив подготовить обзоры литературы по трём психическим расстройствам с разной степенью изученности — от широко известной большой депрессии до относительно малоисследованного дисморфического расстройства тела. Результаты оказались шокирующими: из 176 сгенерированных цитат 35 были полностью выдуманы, а из оставшихся 141 реальных ссылок почти половина содержала библиографические ошибки. В совокупности это означает, что почти две трети ссылок, созданных ИИ, ненадёжны.
Исследователи разработали методику, позволяющую оценить влияние тематической специфики на качество работы нейросети. Для каждого из трёх расстройств, большого депрессивного расстройства, расстройства пищевого поведения и дисморфического расстройства тела, запрашивались два типа обзоров: общий и специализированный, посвящённый цифровым медицинским вмешательствам. После генерации текстов каждая ссылка проверялась, а затем классифицировалась как сфабрикованная, содержащая ошибки или полностью точная. Анализ выявил чёткую закономерность: чем менее изучена тема, тем выше вероятность фальсификаций. Для большой депрессии уровень выдуманных цитат составил всего 6 процентов, тогда как для расстройств пищевого поведения и дисморфического расстройства этот показатель достиг 28–29 процента.
Особенно показательным оказалось сравнение общих и специализированных обзоров. Когда ИИ просили сосредоточиться на цифровых вмешательствах при расстройствах пищевого поведения, уровень фальсификаций взлетал до 46 процентов — почти каждый второй источник оказывался вымышленным. Точность реальных цитат также страдала: только 29 процентов ссылок по дисморфическому расстройству не содержали ошибок в данных публикации. Это свидетельствует о том, что нейросети особенно уязвимы при работе с узкоспециализированными запросами, где объём качественных обучающих данных ограничен.
Механизм возникновения таких ошибок связан с феноменом «галлюцинаций» ИИ — способностью уверенно генерировать правдоподобную, но фактически неверную информацию. В академическом контексте это проявляется в создании несуществующих статей с реалистичными названиями, авторами и даже DOI — цифровыми идентификаторами, которые должны обеспечивать однозначное распознавание публикации. Исследование подчёркивает, что проблема усугубляется тем, что такие ошибки трудно увидеть без тщательной ручной проверки, поскольку нейросеть представляет их в убедительном формате, не отличающемся от достоверных ссылок.
Хотя работа имеет определённые ограничения — она сосредоточена на одной модели и трёх темах психического здоровья — её выводы имеют далеко идущие последствия для научного сообщества. Учёным, использующим ИИ для подготовки публикаций, рекомендуется не полагаться слепо на сгенерированные ссылки, а проводить их обязательную верификацию. Академическим журналам и институтам, в свою очередь, стоит разработать чёткие стандарты использования нейросетей в исследовательской работе и внедрить инструменты проверки целостности цитирования.