Anthropic заблокировала ученых, использовавших Claude в биоисследованиях двойного назначения

Компания Anthropic сообщила, что заблокировала несколько аккаунтов исследователей, которые использовали модели Claude для работы над биологическими исследованиями двойного назначения, потенциально способными помочь при разработке биологического оружия. Об этом говорится в новом отчете компании об использовании ее систем злоумышленниками и другими субъектами высокого риска, отмечает AP.

Anthropic подчеркивает, что не смогла установить, преследовали ли исследователи преступные цели: аналогичные методы могут применяться и в легитимных работах, например при создании вакцин.

В одном из описанных случаев пользователь пытался получить помощь Claude для исследований вируса чикунгунья, причем, по данным компании, скрывал характер работы и обходил защитные ограничения. Anthropic пришла к выводу, что потенциальный риск слишком велик, и заблокировала связанные с такими исследованиями аккаунты. Имена ученых, организаций и страны их принадлежности компания не раскрывает.

Отчет описывает и другие попытки использовать Claude в опасных целях. По данным Anthropic, связанные с Россией, Китаем и Йеменом пользователи обращались к моделям для решения задач, связанных с разработкой обычных вооружений, кибероперациями, слежкой и пропагандой. Компания также сообщила о пресечении операций, связанных с российскими хакерами, и попыток китайских компаний использовать ответы Claude для обучения собственных моделей.

Anthropic отмечает, что возможности передовых моделей в биологии быстро растут. Компания уже применяет дополнительные защитные механизмы для запросов, способных способствовать созданию химического или биологического оружия, и ограничивает доступ к наиболее мощным моделям для части биологических исследований. По оценке Anthropic, нынешние меры существенно снижают риск, однако полностью исключить возможность злоупотреблений невозможно.