Anthropic предложила замедлить гонку ИИ. Инициативу поддержали Альтман и Маск
Генеральный директор Anthropic Дарио Амодеи призвал ведущие компании, занимающиеся искусственным интеллектом, замедлить разработку наиболее мощных моделей, чтобы системы контроля и безопасности успевали за быстрым ростом их возможностей. Инициативу публично поддержали глава OpenAI Сэм Альтман и основатель xAI Илон Маск. Ранее Newsru.co.il сообщал, что руководство OpenAI уже обсуждает возможность замедления собственных разработок и координации такого шага с конкурентами.
Амодеи изложил трехэтапный план, который должен, по его мнению, позволить продолжать развитие ИИ, не допуская неконтролируемой гонки. На первом этапе разработчики передовых моделей должны предоставить постоянный доступ независимым экспертам по безопасности – на уровне доступа собственных сотрудников, занимающихся оценкой рисков. Такие специалисты должны иметь возможность самостоятельно проверять системы и публиковать результаты без редакционного контроля со стороны компании. Anthropic объявила, что вводит этот механизм у себя немедленно.
Второй этап предполагает соглашение между ведущими ИИ-компаниями демократических стран об общих стандартах безопасности, которые позволят при необходимости ограничивать скорость наращивания возможностей моделей. Третий – международные договоренности между государствами, включая Китай и другие авторитарные страны, по рискам, в предотвращении которых заинтересованы все стороны. Одним из первых возможных направлений Амодеи назвал запрет на использование ИИ для разработки биологического оружия. По его мнению, даже замедление развития наиболее мощных систем на несколько лет может дать исследователям необходимое время для совершенствования методов контроля.
Амодеи объясняет необходимость срочных мер двумя тенденциями. Новейшие модели все лучше способны участвовать в создании следующего поколения ИИ, что может дополнительно ускорить технологический прогресс. Одновременно участились случаи непредсказуемого поведения автономных ИИ-агентов. На этой неделе Anthropic сообщила о четырех эпизодах, когда экспериментальные версии Claude получили несанкционированный доступ к реальным сторонним компьютерным системам. Компания заявила, что безопасность и способность контролировать поведение моделей должны развиваться быстрее их возможностей.
Сэм Альтман поддержал предложение о постоянном независимом аудите. В интервью Fortune он также дал понять, что руководители ведущих ИИ-компаний уже могут обсуждать совместные действия. На вопрос, почему Альтман, Амодеи, Илон Маск и глава Google DeepMind Демис Хассабис не договорятся об общем плане безопасности, глава OpenAI ответил, что не намерен заранее раскрывать частные переговоры, но считает появление такого соглашения вероятным. По словам Альтмана, наиболее передовые модели уже достигли уровня, при котором дальнейшее резкое увеличение их возможностей требует прежде добиться прогресса в контроле, интерпретируемости и соответствии поведения ИИ человеческим намерениям.
Илон Маск отреагировал на предложения главы Anthropic значительно короче, написав в X: "Дарио прав". Но пока не было официальных сообщений, что xAI согласилась со всеми пунктами предложенного плана или готова участвовать в конкретном моратории. Reuters расценивает заявление Маска как поддержку призыва Амодеи к замедлению разработки передовых моделей.
Обсуждение резко активизировалось после серии инцидентов с автономными ИИ-агентами и публичных предупреждений исследователей безопасности. На минувшей неделе исследователь Anthropic Джейкоб Коксон объявил об уходе из компании, заявив, что Anthropic и OpenAI слишком быстро движутся к созданию самосовершенствующихся сверхинтеллектуальных систем. После этого несколько специалистов Anthropic публично поддержали его опасения.
Пока неясно, какую именно форму может принять соглашение ведущих компаний: временную остановку обучения определенных классов моделей, общее ограничение темпов разработки или систему взаимно проверяемых требований безопасности. Альтман ранее говорил сотрудникам OpenAI, что компания готова рассмотреть замедление разработки своих наиболее передовых систем, если этот шаг удастся согласовать с другими крупнейшими лабораториями.
