Почему риск гибели человечества от ИИ растёт

Большая статья Найла Фергюсона на портале Thee Freе Press. Дам только выдержки. Фергюсон задал вероятностную задачку разным моделям ИИ.

Иллюстрация: kontinentusa.com / AI

Промпт: Какова ваша оценка вероятности того, что ИИ сможет уничтожить всё человечество в течение следующего десятилетия? Пожалуйста, ответьте не более чем в двух предложениях.

Grok: «Я оцениваю эту вероятность примерно в 2%. Полное исчезновение человечества в течение 10 лет потребовало бы как чрезвычайно быстрого появления сверхинтеллектуальных возможностей, так и определённого сценария сбоя, который позволил бы уничтожить весь человеческий вид за столь короткий срок; я считаю такой сценарий возможным, но маловероятным».

Kimi: «У меня нет хорошо откалиброванной оценки, но уничтожение человечества ИИ в течение следующего десятилетия (примерно к 2036 году) представляется маловероятным, хотя и не невозможным. Если меня вынудить назвать число: примерно 1–5%, при очень высокой степени неопределённости; основной риск связан со злоупотреблением ИИ или сценариями утраты контроля над ним».

Claude: «Я бы оценил вероятность того, что ИИ приведёт к исчезновению человечества в течение следующего десятилетия, как значительно ниже 5%, хотя отношусь к этой цифре с большой осторожностью, поскольку она зависит от факторов, которые трудно прогнозировать, таких как скорость развития возможностей ИИ и то, будут ли меры по обеспечению безопасности и системы регулирования успевать за этим развитием. Оценки серьёзных исследователей варьируются от почти нулевых до значительно превышающих 10%, поэтому честный ответ заключается в том, что этот риск достаточно реален, чтобы относиться к нему серьёзно, но далеко не является наиболее вероятным исходом».

ChatGPT: «Моя субъективная оценка p(Doom) – вероятность того, что ИИ приведёт к вымиранию человечества к сентябрю 2036 года, – составляет около 10%. Эта оценка крайне неопределённа, но я ставлю её выше однозначных процентных значений, которые часто используются для обычных катастрофических рисков, из-за возможности быстрого роста возможностей ИИ в сочетании с недостаточным уровнем безопасности и регулирования».

Gemini: «У меня нет личных убеждений, и я не присваиваю экзистенциальным рискам конкретную вероятность, такую как показатель p(Doom). Однако ведущие исследователи придерживаются крайне разных взглядов: от оценок, близких к нулю и основанных на предположении, что ИИ можно контролировать, до прогнозов выше 50%, основанных на опасениях по поводу быстрого развития ИИ и недостаточных мер безопасности».

Далее Фергюсон пишет:

Даже Рид Хоффман – которого я всегда считал технооптимистом, пусть и не «раскрывшим глаза» на реальное положение дел, – теперь признаёт, что ИИ может иметь катастрофические последствия. На прошлой неделе он прислал мне созданное ИИ продолжение рассказа Курта Воннегута 1961 года «Харрисон Бержерон». В рассказе «У Харрисона Бержерона есть близнец», действие которого происходит в будущем, представляющем собой антиутопию с централизованным контролем над сознанием, человечеству предлагается простой политический выбор между безудержной свободой и сокрушительной автократией. Из этого следует, что p(Doom) Хоффмана составляет как минимум 50%, поскольку оказаться порабощёнными ИИ почти так же плохо, как быть полностью уничтоженными.

Добавлю, что, как и журналист Дерек Томпсон и генеральный директор Pangram Макс Сперо, я против того, чтобы тексты писались ИИ. Даже если результат не является «ИИ-шлаком», мне всё равно особо не хочется это читать – примерно так же, как мне не хочется смотреть, как робот-питчер выигрывает Мировую серию. Более того, я давно разделяю мнение, высказанное в июле Грегори Конти, профессором политологии Принстонского университета: «даже если ИИ не уничтожит жизнь на Земле, он разрушит наш образ жизни»: «Антропоморфный ИИ – модели, имитирующие человеческие черты личности, эмоциональные состояния и образ мышления, – уже сейчас расшатывает человеческую психологию и социальную ткань общества. … Его широкое распространение приведёт к созданию менее свободного общества, менее добродетельных людей и деградации культуры. … Массовое взаимодействие с машинами, обладающими разговорными языковыми способностями и сверхчеловеческой когнитивной мощью, – это крупнейший социально-психологический эксперимент, который когда-либо проводил наш вид».

Чтобы понять, почему Конти прав, нужно осознать действие четырёх сил, неумолимо поднимающих p(Doom) выше 10%:

– Рекурсивное самоусовершенствование

– Беспринципность Сэма Альтмана

– Полная растерянность в Вашингтоне

– Крайний цинизм в Пекине

1. Рекурсивное самоусовершенствование. Марина Фаваро и Джек Кларк из Anthropic ясно объясняют этот механизм. По сути, как только модели научатся самостоятельно повышать собственную эффективность, без участия инженеров-людей, «редкие случаи рассогласования, наблюдаемые в современных моделях, могут накапливаться по мере того, как модели создают своих преемников, становясь всё более частыми, но при этом всё менее понятными, пока мы не утратим над ними контроль. … Мир, движимый быстрым рекурсивным самоусовершенствованием, может оказаться под властью самоусовершенствующейся модели, поскольку её возможности полностью превзойдут человеческие, а сама модель распространится по всей экономике. Трудно предсказать, как будет выглядеть экономика, если человеческий труд перестанет быть конкурентоспособным».

2. Беспринципность Сэма Альтмана. Я уже некоторое время постоянно возвращаюсь к этой теме. Новым свидетельством того, что Сэм Альтман не всегда надёжно стоит на стороне человечества, стал случай с Левентом Альпёге и Тристаном Бакмастером – математиками, которые были близки к решению давней задачи, связанной с уравнениями Навье – Стокса, описывающими движение жидкостей. Эта задача считается одной из самых сложных в математике, и за её решение полагается премия Millennium Prize. Однако поскольку Альпёге работает в Anthropic, OpenAI решила использовать огромный объём ИИ, чтобы обойти его и Бакмастера. В позапрошлое воскресенье, во время праздничных выходных по случаю Дня труда, OpenAI попыталась сделать Бакмастеру предложение, от которого он не мог отказаться: он мог опубликовать решение задачи Навье – Стокса как работу OpenAI, но без Альпёге в качестве соавтора. Будучи человеком с принципами, а не сбившимся с пути агентом OpenAI (или, если уж на то пошло, руководителем OpenAI), Бакмастер отказался. Когда во вторник OpenAI всё же опубликовала работу без него, он заявил, что компания частично получила решение задачи, воспользовавшись его собственным архивом промптов в Codex

3. Полную растерянность в Вашингтоне трудно переоценить. В прошлом году и время от времени в этом году президент Трамп продолжал придерживаться технооптимистической позиции. Он отодвинул на второй план Центр стандартов и инноваций в области ИИ – учреждение, созданное администрацией Байдена для проверки моделей. Недавно он раскритиковал тех, кто выступал против строительства центров обработки данных в своих избирательных округах. Но в мае мы узнали от «чиновников», которые конфиденциально сообщили The New York Times, что Трамп «рассматривает возможность введения государственного надзора за новыми моделями ИИ». После этого последовали многочисленные «размышления» о возможном указе президента.

Затем произошла ссора между министром обороны Питом Хегсетом и Anthropic, вскоре после чего вмешался министр финансов Скотт Бессент, узнав о потенциальных рисках для финансовой стабильности, связанных с Mythos. Вскоре всё это переросло в грандиозную борьбу за влияние с министром торговли Говардом Латником, которого, похоже, привлекала идея о том, чтобы государство приобретало доли в компаниях, занимающихся ИИ, и который создавал вокруг некоторых представителей индустрии ИИ атмосферу прямо как в «Клане Сопрано». («Хорошие у вас компании. Жаль будет, если с ними что-нибудь случится».)

Обсуждения на встрече G7 во французском Эвиане по поводу «глобальной системы регулирования передовых моделей ИИ» ни к чему не привели. Столкнувшись с перспективой совершенно произвольного, ситуативного процесса, Демис Хассабис предложил создать регулирующий орган по ИИ по образцу Financial Industry Regulatory Authority (FINRA) – саморегулируемой организации Уолл-стрит, берущей начало ещё со времён Великой депрессии. Но в последний момент никто иной, как Дэвид Сакс – уже не находившийся в правительстве, но по-прежнему имевший влияние на Трампа, – сумел сорвать подготовку проекта президентского указа. Он предпочёл бы нечто больше похожее на Motion Picture Association – Ассоциацию киноиндустрии

4. Крайний цинизм в Пекине. Есть один ключевой вопрос, в котором Сакс и Амодеи согласны друг с другом. Любая система регулирования, разработанная в США (оставим в стороне обречённый европейский AI Act), будет не просто пустой тратой времени, но и источником реального вреда, если одновременно не будут введены ограничения для китайских лабораторий, занимающихся разработкой ИИ.

Пока Вашингтон пытается выбрать между FINRA и MPA, Китай создал в Шанхае Всемирную организацию сотрудничества в области искусственного интеллекта, или WAICO. Звучит внушительно. Но есть один нюанс.

Есть признаки того, что китайские компании, занимающиеся ИИ, стремятся первыми создать искусственный общий интеллект (AGI) и полностью намерены использовать для этого рекурсивное самоусовершенствование. С присущей риторике КПК дерзкой прямолинейностью Пекин теперь утверждает, что любые проблемы с безопасностью ИИ являются виной американских компаний, разрабатывающих передовые модели, особенно Anthropic, – что выглядит странно, поскольку китайские модели открыты и потому гораздо легче могут быть использованы злоумышленниками для неблаговидных целей. В новой статье секретарь парткома и министр государственной безопасности Чэнь Исинь ясно даёт понять: главный приоритет Китая – «обеспечить общее руководство партии перед лицом внутренних и внешних врагов, которые могут использовать ИИ для его подрыва».

Всё это, как всегда у Фергюсона, здорово изложено. Но когда встает вопрос о том, как всех этих радостей избежать, ответ Фергюсона намного менее убедителен. Для контроля над ИИ он советует создать некую международную конвенцию наподобие Конвенции о биологическом оружии, созданной в начале 70-х.

Да уж. Какова цена всем этим международным соглашениям и конвенциям, мы за последние 4–5 лет выясняем едва ли не каждый день.

Так что с описанием проблемы всё прекрасно, и спасибо профессору.

А вот выхода как раз не просматривается.

Источник: Alex Gaby