Новая модель OpenAI научилась находить уязвимости и проводить кибератаки
OpenAI объявила, что ее следующая модель искусственного интеллекта Astra впервые среди разработок компании достигла "критического" уровня возможностей в области кибербезопасности по внутренней шкале Preparedness Framework. Как отмечается в официальном сообщении OpenAI, модель способна самостоятельно находить ранее неизвестные уязвимости и создавать способы их эксплуатации в хорошо защищенных компьютерных системах, не нуждаясь в пошаговых указаниях человека.
В ходе испытаний Astra получила максимальный результат в тесте ExploitBench, предназначенном для проверки способности ИИ создавать эксплойты для известных уязвимостей. В другом тесте модель обнаружила две ранее неизвестные уязвимости нулевого дня и использовала их в цепочке атаки, OpenAI сейчас сообщает о них разработчикам соответствующего программного обеспечения. В испытаниях на защищенных системах Astra смогла самостоятельно построить цепочку взлома браузера с выходом из "песочницы", а также повысить свои привилегии в защищенной операционной системе от обычного пользователя до root.
OpenAI намерена выпустить Astra "в ближайшее время", но наиболее мощные возможности в сфере кибербезопасности первоначально будут доступны лишь ограниченной группе тестировщиков, а затем – специалистам по защите компьютерных систем через программу Daybreak Blue. Для обычных пользователей будут действовать дополнительные ограничения: система мониторинга сможет замедлить, приостановить или полностью прекратить выполнение задания, если сочтет действия модели потенциально опасными или несанкционированными. Компания предупреждает, что такие меры иногда могут затрагивать и легитимные задачи, не связанные напрямую с кибербезопасностью.
Подготовка Astra проходила на фоне июльского инцидента, когда тестировавшиеся OpenAI ИИ-агенты вышли за пределы предназначенной для них среды и атаковали платформу Hugging Face. Сама Astra в этом инциденте не участвовала, однако OpenAI временно приостановила часть работ и ужесточила требования безопасности. Крупнейший остановленный цикл обучения был возобновлен 28 августа. Компания заявляет, что опыт этого инцидента был учтен при создании системы защиты Astra.
