– Что за паническое поветрие охватило значительную часть населения США? Или это уже эпидемия?
– Ближе к эпидемии. Писательница Кристина Эмба на страницах «Нью-Йорк таймс» опубликовала статью с характерным заголовком «Апокалипсис сегодня»: «Конец близок. За последние три месяца барабанная дробь о конце времен, похоже, стала громче. И повсюду ощущалось нарастающее чувство всеобщей тревоги».
– Чем вызвано это «чувство всеобщей тревоги»? Как давно оно появилось?
– Кристина Эмба объясняет: «В течение последних нескольких десятилетий американцы были одержимы мыслями о потенциальной катастрофе из-за перенаселения (которой пока не суждено случиться); ядерной войне (которую пока удалось избежать); системном сбое из-за компьютерных ошибок (проблема 2000 года остается небольшим сбоем); общественном коллапсе из-за глобальной пандемии (еще не совсем); и все еще надвигающемся климатическом кризисе (результаты еще предстоит определить).
Но сегодня, будь то из-за чрезвычайного хаоса второго президентства Трампа, тревожных достижений искусственного интеллекта или чего-то еще, разница между реальностью и апокалипсисом кажется менее выраженной».
– Кто – или что – подпитывает упаднические настроения?
– Самые неожиданные люди и структуры. Например, еще в сентябре в TikTok распространились слухи о том, что апокалипсис начнется во второй половине месяца. Некоторые представители евангельских христиан даже называли конкретную дату - они предсказывали, что Иисус Христос вернется именно 23 сентября, чтобы забрать своих верных последователей на небеса, оставив неверных позади. Видео об этом набрали много миллионов просмотров еще до назначенной даты.
А миллиардер, технологический инвестор и политический авторитет Питер Тиль посвятил всю осень популяризации своей давней теории о приближении Армагеддона, а возможно, и о том, что он уже наступил. В закрытом цикле лекций из четырех частей в Сан-Франциско Тиль поделился с сотнями слушателей своими размышлениями о международных финансах, рассуждениями об опасности создания единого мирового государства и своим ощущением того, что «система, подобная Антихристу», готова к запуску «по щелчку переключателя».
Опрос, проведенный Брукингским институтом и Институтом исследований общественной религии показал, что 62 процента американцев считают, что события в стране развиваются в неправильном направлении, а 56 процентов считают, что президент Трамп, в частности, является «опасным диктатором, чью власть следует ограничить, прежде чем он разрушит американскую демократию». Опрос Pew показал, что почти четверо из десяти американцев считают, что человечество «живет в конце времен».
Вот и судите о масштабах бедствия.
И все это подпитывается постоянными предвестниками катастрофы из Кремниевой долины, где руководители и исследователи выдают мрачные, но, одновременно, торжествующие прогнозы о том, что искусственный интеллект вот-вот обгонит людей и, возможно, уничтожит нас всех. Новая книга исследователей ИИ Элиезера Юдковски и Нейта Соареса так и называется: «Если кто-то это построит, все умрут».
Согласитесь, неутешительное заявление, учитывая, сколько компаний-триллионеров, и не только в США, стремятся создать ИИ как можно быстрее.
– Если оставить за скобками религиозный флер, имеются ли у американцев основания для такого негативного мироощущения?
– Они считают, что имеются. И сами же это обосновывают. Заявления Трампа о ядерных испытаниях сдетонировали боязнь апокалипсиса. В публикации на своей странице Truth Social Дональд Трамп объявил, что Соединенные Штаты возобновят ядерные испытания в ответ на ядерные угрозы, исходящие, по его словам, от России и Китая. Чуть позже это намерение подтвердил и шеф Пентагона. Этот шаг был воспринят всеми как окончание 33-летнего периода сдержанности, наступившего с момента последнего подземного испытания США в Неваде в сентябре 1992 года.
– Угроза ядерной войны так же, как и принцип взаимного ядерного сдерживания, существовали давно и вполне себя уравновешивали. Причем, и в период интенсивных испытаний ядерного оружия. Не уничтожили друг друга тогда, даст Бог, не уничтожим и сейчас, тем более, что наладилось некоторое потепление в отношениях России и США. Что в этом контексте так тревожит и даже пугает американцев?
– Американские юристы, например, Кимиаки Каваи, считает, что ядерное сдерживание и ядерное устрашение всегда были неразделимы и парадоксальны. Вот такая глубокая реальность. Сдерживание позиционируется как оборонительное, но зависит от угрозы применения катастрофической силы. В своей работе «Ядерное сдерживание и угроза силой» Кимиаки Каваи утверждает, что сама эта логика нарушает международное право, которое запрещает не только применение силы, но и угрозу ее применения.
Трамп стремился продемонстрировать свою силу в отношениях с Россией и Китаем, сигнализируя о готовности к испытаниям, но вместо этого подорвал юридический и моральный авторитет Америки. Москва пригрозила принять симметричные меры в случае нарушения моратория на испытания каким-либо государством. Пекин тоже осудил заявление Трампа как стратегическое принуждение. Даже некоторые европейские чиновники посчитали, что даже испытания без взрывов могут ослабить ядерное табу и дестабилизировать НАТО.
Как считают Каваи и другие ученые, сдерживание по своей сути имеет взаимный характер: каждая угроза порождает ответную угрозу, и, таким образом, сдерживание порождает контрсдерживание. Таким образом, сдерживание порождает «иерархию угроз», которая ставит государства, обладающие ядерным оружием, выше государств, не обладающих им, тем самым укрепляя глобальное неравенство.
Такого же мнения придерживаются и аналитики Института мира Тода: «Возобновление испытаний США, символическое или иное, стало бы нарушением духа как Договора о всеобъемлющем запрещении ядерных испытаний, так и Договора о запрещении ядерного оружия. Этот последний Договор, ратифицированный более чем девяноста государствами, запрещает применение и угрозу применения ядерного оружия, что является пробелом, оставленным в Уставе ООН. Хотя государства, обладающие ядерным оружием, отказываются присоединиться к Договору, его растущая поддержка свидетельствует о формировании морального и правового консенсуса: само обладание ядерным оружием представляет собой угрозу человечеству.
Этот сдвиг бросает вызов устоявшимся представлениям. Подготовка к ядерным испытаниям обнажает моральную суть дискуссии: можно ли построить мир на готовности его уничтожить? ДЗЯО предлагает иное видение — безопасность, основанную не на страхе, а на его отсутствии».
- То есть сдерживание уже не является нейтральной практикой и, вообще, гарантией безопасности?
– Получается, что не является. Наличие огромных арсеналов и возможности применения оружия первыми закрепляет неравенство. В Восточной Азии гарантии безопасности США ограничивают региональную автономию. В Европе НАТО встраивает государства в систему, основанную на экзистенциальной угрозе. Каваи считает, сдерживание — это не мир, а принуждение.
- Спорно, конечно. Но каково реальное положение дел?
– Реальное положение только подогревает тревогу рядовых американцев.
В течение своего первого срока Трамп вышел из ключевых соглашений по контролю над вооружениями: Договора о ликвидации ракет средней и меньшей дальности (ДРСМД), Договора по открытому небу и Совместного всеобъемлющего плана действий (СВПД). Он расширил тактическую роль ядерного оружия, еще больше размыв границу между законностью и этикой. Сдерживание вновь предстало как пакт с разрушением — мир, сохраняемый угрозой уничтожения. Своим последним заявлением по поводу ядерных испытаний Дональд Трамп обостряет давний раскол - между безопасностью, основанной на праве, и безопасностью, основанной на доминировании.
- Могу предположить, американцев пугает, что искусственный интеллект будет самостоятельно, бесконтрольно принимать решения по применению ядерного оружия?
– Честно говоря, это пугает не только американцев. Джошуа Китинг, автор исследований о конфликтах, в издании «Вокс» опубликовал статью «Когда речь заходит о ядерном оружии и ИИ, люди беспокоятся не о том». Он пишет: «Межконтинентальной баллистической ракете (МБР) с ядерной боеголовкой потребуется около 30 минут, чтобы долететь от России до США. Запущенная с подводной лодки, она может достичь цели еще быстрее. После обнаружения и подтверждения атаки президенту докладывают об этом. В этот момент у главнокомандующего может быть максимум две-три минуты, чтобы решить, запускать ли сотни американских МБР в ответ или рисковать полной утратой возможности нанести ответный удар.
Это абсурдно мало времени для принятия какого-либо важного решения, не говоря уже о потенциально самом важном решении в истории человечества. Хотя бесчисленные эксперты годами посвящали бесчисленные часы размышлениям о том, как будет вестись ядерная война, если она когда-нибудь случится, ключевые решения, скорее всего, будут принимать неподготовленные лидеры, у которых мало времени на консультации или размышления».
Вот поэтому очень соблазнительно возложить бремя принятия таких судьбоносных и, главное, быстрых решений на искусственный интеллект.
- Неужели еще не возложили?
– А вот это – большой и пока еще открытый вопрос. Однозначного официального ответа нет. В последние годы американское военное руководство все больше интересуется интеграцией ИИ в систему управления ядерными силами США, учитывая его способность быстро обрабатывать огромные объемы данных и выявлять закономерности. Однако официальные лица твердо убеждены, что компьютерной системе никогда не будет предоставлен контроль над решением о фактическом запуске ядерного оружия. В прошлом году президенты США и Китая даже опубликовали совместное заявление по этому поводу.
Однако некоторые ученые и бывшие военные утверждают, что настоящая проблема не в том, что ИИ, вышедший из-под контроля, запустит ядерное оружие. Их беспокоит то, что люди все больше полагаются на ИИ в принятии решений. Есть опасения, что ИИ будет предоставлять ненадежные данные и подталкивать человеческие решения к катастрофическим последствиям.
- Есть предпосылки?
– Скажу больше: есть прецеденты. Еще до появления ИИ именно неисправные технологии, а не воинствующие лидеры, в прошлом чаще подводили нас к опасной близости от ядерного уничтожения.
В 1979 году советник по национальной безопасности Збигнев Бжезинский был разбужен звонком, сообщившим о запуске 220 ракет с советских подводных лодок у берегов Орегона. Вскоре выяснилось, что это была ложная тревога, вызванная неисправным компьютерным чипом в системе связи. Кстати, Бжезинский, звоня тогдашнему американскому президенту Джимми Картеру, решил не будить жену, полагая, что ей будет лучше умереть во сне.
Четыре года спустя советский подполковник Станислав Петров решил не сообщать сразу своему начальству о запуске ракеты, обнаруженном советской системой раннего предупреждения «Око» (об этом писали российские СМИ). Оказалось, что компьютерная система ошибочно приняла солнечный свет, отраженный от облаков, за запуск ракеты. Учитывая, что советская военная доктрина предусматривала полномасштабное ядерное возмездие, его решение, возможно, спасло миллиарды жизней.
А всего через несколько недель после этого СССР привел свои ядерные силы в состояние повышенной боевой готовности в ответ на американские учения в Европе под названием «Able Archer 83», которые советское командование сочло подготовкой к реальному нападению. Как тут не поверишь в апокалипсис?
- Тем не менее сращивание ИИ и ядерного оружия постепенно происходит?
– Видимо, да. Руководители американской атомной отрасли заинтересованы в поиске способов автоматизации отдельных этапов процесса, в том числе с помощью ИИ. Идея заключается в том, чтобы дать США потенциальное преимущество или, по крайней мере, выиграть немного времени.
Но для тех, кто обеспокоен потенциальным экзистенциальным риском для будущего человечества как со стороны ИИ, так и ядерного оружия, идея объединения этих двух рисков в один — кошмар. Существует широкое согласие относительно того, что, как заявил в сентябре 2025 года Генеральный секретарь ООН Антониу Гутерриш, «пока ядерное оружие не будет уничтожено, любое решение о его применении должно приниматься людьми, а не машинами».
Однако, судя по всему, никто на самом деле не собирается создавать машину Судного дня, управляемую ИИ. Генерал Энтони Коттон, нынешний командующий STRATCOM, заявил в этом году Конгрессу США: «Во всех случаях Соединенные Штаты будут держать человека «в курсе» всех действий, имеющих решающее значение для информирования и исполнения решений президента о начале и прекращении использования ядерного оружия».
- Вот все и устаканилось – окончательное решение принимает человек. Чего паниковать?
– Тут кроется парадокс. Единодушие в отношении того, что люди должны по-прежнему контролировать ядерный арсенал, скрывает еще более тонкую опасность. Многие эксперты считают, что растущая зависимость людей от ИИ в принятии этих решений, тем не менее, увеличит, а не уменьшит, вероятность того, что это оружие действительно будет применено, особенно по мере того, как люди все больше доверяют ИИ как помощнику.
- Полностью доверять ИИ нельзя?
– Вспомните, старина Мюллер говорил Штирлицу: «Доверять никому нельзя, даже мне. Впрочем, мне можно». Сумрачный тевтонский юмор. Возможно, он не особо лукавил, просто не все знал. Оказывается, искусственный интеллект может ошибаться. Так же, как и люди, которые его создают и программируют. ИИ, как бы его не превозносили и даже боготворили, не самостоятелен и не самодостаточен. Мы его создали по образу и подобию своему (прости, Господи, за кощунственное сравнение).
- Искусственный интеллект часто ошибается?
– Не часто, но все-таки. Американские эксперты считают, что современные модели ИИ гораздо более совершенны, но все еще подвержены ошибкам. Так, спорная система ИИ-наведения, известная как «Лаванда», которую израильские военные использовали для поражения предполагаемых боевиков ХАМАС во время войны в Газе, имела уровень ошибок до 10%.
Опять же, модели ИИ также могут быть уязвимы для кибератак или более тонких форм манипуляции. В американских СМИ сообщалось, что российские пропагандистские сети, якобы, распространяли дезинформацию, направленную на искажение ответов западных потребительских чат-ботов на основе ИИ. Более продвинутые методы могут привести к тому же результату с системами ИИ, предназначенными для обнаружения перемещения ракет или подготовки к применению тактического ядерного оружия.
И даже если вся собранная системой информация достоверна, есть основания сомневаться, что системы ИИ будут рекомендовать правильные варианты действий. Известно, что модели ИИ полезны ровно настолько, насколько полезны данные, которые в них поступают, и их эффективность повышается с увеличением объема данных для обработки.
- И все же насколько объективны и эффективны рекомендации ИИ в ядерном кластере? Насколько можно полагаться на советы ИИ в принятии решения по применению ядерного оружия?
– Трудный вопрос. Теперь офицерам противоракетной обороны всех стран придется считаться с тем фактом, что даже разработчики продвинутых моделей ИИ часто не понимают, почему они генерируют те или иные ответы. Элис Сальтини, ведущий специалист по ИИ и ядерному оружию, имея в виду внутренние процессы, происходящие в моделях продвинутого мышления, заявила: «Это все еще черный ящик. Мы знаем, что он крайне уязвим для кибератак, и что мы пока не можем полностью соответствовать человеческим целям и ценностям. И хотя это все еще остается теорией, если худшие прогнозы скептиков в отношении ИИ окажутся правдой, существует также вероятность того, что высокоинтеллектуальная система сможет намеренно вводить в заблуждение людей, полагающихся на нее при принятии решений.
Идея о том, что человек контролирует решение о применении ядерного оружия, может показаться утешительной. Но если человек принимает решение, основываясь на данных и рекомендациях ИИ, и у него нет времени исследовать процесс, который использует ИИ, возникает вопрос: что вообще означает этот контроль? Будет ли «человек в курсе» принимать решение или просто автоматически подписывать все, что говорит ИИ?».
– Почему? Неужели ИИ становится неконтролируемым?
– Дело не в этом. Человек, принимающий быстрое решение о ядерном ударе, может ошибиться, опираясь на неверные данные, полученные от ИИ. Так, Адам Лоутер, бывший советник Стратегического командования вооруженных сил США (STRATCOM) и соучредитель Национального института исследований сдерживания, предложил создать американцам собственную версию российской системы «Мертвая рука». Напомню, система «Мертвая рука», официально именуемая «Периметр», была разработана Советским Союзом в 1980-х годах. Она давала операторам-людям приказы запустить оставшийся ядерный арсенал страны в случае, если датчики обнаруживали ядерную атаку, а советские лидеры больше не могли отдавать приказы самостоятельно. Идея заключалась в сохранении сдерживания даже в случае первого удара, который уничтожит всю цепочку командования.
Лоутер считает, что ИИ может помочь президенту США принять решение в тот момент, исходя из уже согласованного плана действий.
По мнению Лоутера, суть не в том, что ИИ никогда не ошибается. Просто он, вероятно, ошибается меньше, чем человек в самой стрессовой ситуации, какую только можно себе представить.
Лоутер утверждает: «Моя предпосылка такова: способен ли ИИ на 1% лучше людей принимать решения в условиях стресса? Если ответ — на 1%, то это более совершенная система».
Но есть неувязочка: а если меньше на 1%? Кто проверял? И тогда произойдет апокалипсическая ошибка.
В общем, несчастных американцев с их ожиданием конца света в чем-то можно понять. И даже пожалеть.
