Новый метод расширил автоматический поиск уязвимостей языковых моделей

Исследователи Корейского института передовых технологий KAIST и лаборатории Naver AI разработали метод автоматизированного тестирования безопасности больших языковых моделей. Система создает разнообразные вредоносные запросы и проверяет, удается ли с их помощью обойти ограничения модели.

Предложенный метод Stable-GFlowNet должен решить проблему, при которой системы тестирования многократно генерируют однотипные атаки и пропускают другие классы уязвимостей. Для этого он сравнивает между собой последовательности запросов и отбирает различные эффективные варианты.

По данным разработчиков, в сравнительных испытаниях система выявила 134 типа атак против 17 у использованного для сравнения метода. Доля успешных атак достигала 92%. Речь идет не о способности искусственного интеллекта самостоятельно осознавать свои недостатки, а об инструменте для автоматического тестирования других языковых моделей.