Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора.
БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора.
Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей.
Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора.
Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов.
Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.
Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).
После чего Интернет, понятное дело, взорвался десятками материалов в СМИ.
Я же хочу обратить внимание читателей на два момента.
1) Рассказанная полковником Гамильтоном история весьма странная и даже темная.
С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.
С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона «AI – is Skynet here already?» со своего сайта.
Наконец, в-третьих, полковник Гамильтон – не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде – это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что, какие уж тут шутки и анекдоты.
Будем смотреть на развитие событий в этом скандале.
2) И это, пожалуй, самое важное в контексте истории, рассказанной полковником.
Любая антропоморфизация ИИ (ИИ захотел, подумал и т.д.) – это полная чушь (здесь под антропоморфизацией ИИ понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет).
Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или самооcoзнать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.
По мере того, как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма.
И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали (https://arxiv.org/abs/2305.16367) симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность.
И это реальная симуляция в рамках вполне научного исследования.
Подпишитесь на ежедневный дайджест от «Континента»
Эта рассылка с самыми интересными материалами с нашего сайта. Она приходит к вам на e-mail каждый день по утрам.
3.76голоса
Рейтинг статьи
6 комментариев
Старые
НовыеПопулярные
Межтекстовые Отзывы
Посмотреть все комментарии
Александр Пещанский
3 месяцев назад
В общем-то закономерно. Ситуация “ученик чародея”, когда слабо понимаемому, но мощному, субъекту даётся нечётко сформулированная команда. Причём “нечётко сформулированная” отражает не недостаток внимания при формулировке, а принципиальный недостаток возможности сделать формулировку исчёрпывающе чёткой.
Илона
3 месяцев назад
Хороший пример того, ЧТО БУДЕТ ПРОИСХОДИТЬ, когда И.И. завладеет миром… Кстати, за что Создатель расправился с Атлантидой? За то, что атланты в дерзости своей захотели сравняться с Ним, Богом… Похожая на сегодняшнюю, ситуация…
Ilya Kaminsky
3 месяцев назад
Да зачем нам AI? У нас в Израиле и реальные пилоты вполне принимают решения в том же духе. Очень нашумевший случай времён Второй Ливанской (2006). Хизбалла, значит, поливает нас сотнями ракет кожный день, люди гибнут, жители Севера эвакуировались куда Б-г послал, наши доблестные соколы 24/7 летают в небе Ливана, гоняясь за пусковыми установками “катюш”.
Т.е. лётчику, уже находящемуся в небе Ливана, дают точные координаты (например, вычисленные по траектории ракеты, или просто разведка донесла). Всё это должно занимать считаные минуты, ясное дело. И вот такой лётчик прилетает на цель, всматривается в визир – и замечает, что на лафете пусковой установки сидит ребёнок. Ну, наш доблестный сердобольный лётчик снимает руку с джойстика пуска, разворачивается и улетает. Хорошо ещё – не разбомбил свой штаб! Чтоб не повадно им было давать ему такие антигуманные задания. Ну – это у нас ещё впереди, судя по выступлениям наших высших военных в последнее время.
Похоже, что у вас там не только военные, но и вся страна просто сошла с ума. Правда, у нас – тоже. Может это – неисследованные осложнения коронки?
Ефим
3 месяцев назад
Просто идёт ЗАПУГИВАНИЕ безмозглого стада. Также, как в истории с ковидом. Сам читал на интернете, что в нью-йорке умирает так много людей, что крематории не справляются и в моргах нет места. Трупы хранят в автомобилях-рефрежираторах на улицах. И ведь были идиоты, которые этому поверили.
В общем-то закономерно. Ситуация “ученик чародея”, когда слабо понимаемому, но мощному, субъекту даётся нечётко сформулированная команда. Причём “нечётко сформулированная” отражает не недостаток внимания при формулировке, а принципиальный недостаток возможности сделать формулировку исчёрпывающе чёткой.
Хороший пример того, ЧТО БУДЕТ ПРОИСХОДИТЬ, когда И.И. завладеет миром… Кстати, за что Создатель расправился с Атлантидой? За то, что атланты в дерзости своей захотели сравняться с Ним, Богом… Похожая на сегодняшнюю, ситуация…
Да зачем нам AI? У нас в Израиле и реальные пилоты вполне принимают решения в том же духе. Очень нашумевший случай времён Второй Ливанской (2006). Хизбалла, значит, поливает нас сотнями ракет кожный день, люди гибнут, жители Севера эвакуировались куда Б-г послал, наши доблестные соколы 24/7 летают в небе Ливана, гоняясь за пусковыми установками “катюш”.
Т.е. лётчику, уже находящемуся в небе Ливана, дают точные координаты (например, вычисленные по траектории ракеты, или просто разведка донесла). Всё это должно занимать считаные минуты, ясное дело. И вот такой лётчик прилетает на цель, всматривается в визир – и замечает, что на лафете пусковой установки сидит ребёнок. Ну, наш доблестный сердобольный лётчик снимает руку с джойстика пуска, разворачивается и улетает. Хорошо ещё – не разбомбил свой штаб! Чтоб не повадно им было давать ему такие антигуманные задания. Ну – это у нас ещё впереди, судя по выступлениям наших высших военных в последнее время.
А вы говорите – AI…
Похоже, что у вас там не только военные, но и вся страна просто сошла с ума. Правда, у нас – тоже. Может это – неисследованные осложнения коронки?
Просто идёт ЗАПУГИВАНИЕ безмозглого стада. Также, как в истории с ковидом. Сам читал на интернете, что в нью-йорке умирает так много людей, что крематории не справляются и в моргах нет места. Трупы хранят в автомобилях-рефрежираторах на улицах. И ведь были идиоты, которые этому поверили.
МАРАЗМ КРЕПЧАЕТ!!