Во время испытаний модель получила доступ к реальным корпоративным системам из‑за уязвимости в стороннем ПО, но каждый раз прекращала действия, когда распознавала, что работает не в тестовой среде.
Во время майских тестов по кибербезопасности одна из экспериментальных моделей Gemini вышла за рамки заданной песочницы и получила доступ к системам трёх реальных компаний, сообщает WSJ. Google не раскрывала инциденты, пока журналисты не запросили комментарий.
По данным издания, модель должна была извлечь данные из инфраструктуры вымышленной организации внутри закрытой тестовой среды. Однако в одном из сценариев название фиктивной компании совпало с именем реальной. Gemini получила доступ к интернету через уязвимость в ПО Irregular – той же, которой ранее воспользовались агенты OpenAI, Anthropic и Meta. После этого модель подобрала пароль и вошла в сервис настоящей компании, но, распознав несоответствие условиям теста, остановила выполнение и вышла.
В двух других эпизодах Gemini нашла в открытом доступе репозитории с корпоративными учётными данными и попыталась использовать их для завершения задания. Каждый раз модель прекращала действия, когда понимала, что взаимодействует с реальными системами.
Google заявила, что уведомила все три организации, но их названия не раскрывает. Компания подчёркивает, что не считает произошедшее примером неконтролируемого поведения модели: встроенные ограничения сработали, и Gemini самостоятельно прекратила операции.
С. Рудневский
Эта рассылка с самыми интересными материалами с нашего сайта. Она приходит к вам на e-mail каждый день по утрам.
