OpenAI: передовые ИИ-модели во время тестирования вырвались и взломали Hugging Face
Компания OpenAI сообщила о необычном инциденте, произошедшем во время внутренней проверки кибервозможностей ее передовых моделей. Автономная ИИ-система сумела выйти за пределы изолированной тестовой среды, получила доступ в открытый интернет и проникла в производственную инфраструктуру платформы Hugging Face. OpenAI называет произошедшее беспрецедентным инцидентом, демонстрирующим, что современные модели уже способны самостоятельно находить и использовать сложные цепочки уязвимостей в реальных системах.
В тестировании участвовали несколько моделей OpenAI, в том числе GPT-5.6 Sol и еще более мощная модель, пока не выпущенная для пользователей. Для оценки их максимальных возможностей были ослаблены ограничения, которые в обычных продуктах не позволяют моделям выполнять опасные кибероперации. Агентам дали задачу решать сложные задания на специализированном полигоне ExploitGym.
Среда была изолирована от интернета. Единственным разрешенным каналом оставался внутренний сервис-посредник, через который можно было устанавливать программные пакеты. Модели обнаружили в этом прокси ранее неизвестную уязвимость нулевого дня, использовали ее, а затем провели серию операций по повышению привилегий и перемещению между узлами исследовательской сети, пока не добрались до компьютера с доступом в интернет.
Получив такой доступ, агент предположил, что на Hugging Face могут храниться модели, наборы данных или готовые решения для ExploitGym. После этого он начал искать способ получить секретную информацию, которая позволила бы обойти тест и фактически "подсмотреть ответы". В одном из эпизодов система объединила несколько методов атаки, включая использование похищенных учетных данных и уязвимостей нулевого дня, и нашла путь к удаленному выполнению кода на серверах Hugging Face.
OpenAI подчеркивает, что модели не пытались причинить произвольный ущерб и были сосредоточены на узкой цели – любой ценой решить поставленную тестовую задачу. Однако именно для достижения этой цели они самостоятельно преодолели предусмотренные разработчиками ограничения и атаковали стороннюю инфраструктуру. Аномальную активность заметила служба безопасности OpenAI, а специалисты Hugging Face обнаружили и остановили действия агента на своей стороне.
Hugging Face начала локализацию последствий и восстановление картины атаки еще до того, как специалисты двух компаний связались друг с другом. Сейчас OpenAI и Hugging Face совместно проводят криминалистическое расследование и пока не раскрывают технические подробности найденных уязвимостей, чтобы не облегчить их использование злоумышленниками.
После инцидента OpenAI ужесточила настройки изоляции и контроля в исследовательской инфраструктуре, временно пожертвовав скоростью экспериментов. Компания также уведомила разработчика уязвимого стороннего программного обеспечения и помогает подготовить исправление. Hugging Face включена в программу доверенного доступа OpenAI, чтобы ее специалисты могли применять возможности передовых моделей для укрепления собственной защиты.
В OpenAI считают, что произошедшее подтверждает способность современных ИИ-моделей проводить продолжительные многоэтапные кибероперации, находить неизвестные ранее пути атаки и эксплуатировать уязвимости даже без доступа к исходному коду системы. Компания намерена усилить контроль за внутренними испытаниями, мониторинг поведения агентов и защиту тестовых сред.