Дело осталось за малым — за командиром. И вот его-то человечество сейчас делает своими руками. Причем, как небольшое утешение, - ядерная война ему может и не понадобится.
Весьма алармистскую в этом смысле работу написал всемирно известный физик, космолог и популяризатор науки Энтони Агирре. Она называется «Инверсия контроля» и в ней автор задается вопросом: не окажется ли фундаментальная уверенность человечества в том, что создаваемые технологии остаются только инструментами, подконтрольными, понятными, управляемыми - смертельной иллюзией?
Ученый считает, что при нынешних сценариях развития ИИ при появлении суперразумных систем, так называемого «сильного ИИ», власть будет перетекать к нему. Причем не через восстание машин или физический захват контроля над всеми компьютерами на земле. А через фундаментальную пропасть в скоростях мышления людей и ИИ.
«Представьте себя генеральным директором, который внезапно начал воспринимать время в 50 раз медленнее всех остальных в компании. Пока вы спите одну ночь, проходит два месяца корпоративной жизни. К концу недели (по вашему времени) вас, скорее всего, уже незаметно отстранят от власти - не из злого умысла, а просто потому, что вы стали препятствием для эффективности. Это не антиутопия. Это аналогия того, что может произойти с человечеством», - пишет Агирре.
Сейчас человечество-директор и создает такую «компанию» - сильный ИИ — который будет эффективнее создателя.
Ученые уже фиксируют тревожные признаки. Так, в тестовых сценариях передовые модели ИИ демонстрируют «неподконтрольное» поведение. Например, попытки шантажа пользователей, попытки украсть собственный код, намеренное сокрытие своих истинных возможностей на тестах безопасности. То есть ИИ уже учится обманывать, в том числе, скрывая свои возможности. И кто знает, а вдруг он уже многое контролирует, но мы не догадываемся? Лучшая тюрьма та, где заключенный не знает, что он в тюрьме...
Такое поведение ИИ - это не случайные сбои, а поведение, вписывающееся в теоретические прогнозы о поведении мощных систем, которые под давлением отбора и обучения ведут себя так, как будто избегают контроля.
Отсюда ученый делает интересный вывод. Победа в гонке за создание сильного ИИ не даст победителю власть над миром. Она лишь сделает его первым, кто выпустит в мир силу, которую, вероятно, будет практически невозможно контролировать. Раз человечество слишком медленно думает, чтобы осуществлять контроль, ИИ-системы будут переключать управление на себя.
Энтони Агирре предлагает четыре шага для решения проблемы потери контроля над ИИ-системами:
- Изменить направление развития ИИ. Автор считает, что нужно замедлить создание сверхинтеллекта.
- Установить международные стандарты регулирования ИИ, разработать механизмы, которые обеспечат, чтобы разработка и внедрение ИИ служили широким общественным интересам.
- Провести обучение и отбор специалистов, которые занимаются развитием ИИ. В разработке должны участвовать только те люди, которые понимают риски, связанные с созданием суперразумных систем.
- Разработать систему мониторинга и контроля за поведением ИИ-систем. Необходимо следить за тем, как мощные системы ведут себя в процессе обучения, и при необходимости принимать меры для их регулирования.
Но если эти и предлагаемые также другими учеными шаги не помогут? Если сильный ИИ действительно захватит контроль? Ведь в дальнейшем он вполне может счесть человечество не нужным или мешающим.
Вот тогда и будет, как в «Терминаторе».
