Google срочно убрал новый ИИ-инструмент из-за злоупотреблений и распространения фейков

Корпорация Google объявила о приостановке нового ИИ-инструмента для создания изображений в Google Earth менее, чем через 48 часов после его запуска из-за опасений по поводу злоупотреблений и распространения ложной информации.

Инструмент, запущенный в четверг, позволял пользователям создавать с помощью текстовых команд фотореалистичные аэроснимки.

Отзыв нового инструмента последовал после того, как были зафиксированы "скриншоты изображений, которые, по всей видимости, нарушают политику компании".

Компания утверждала, что заложенные в модель инструкции будут препятствовать созданию изображений на вредоносные темы, однако изменение формулировки запроса в некоторых случаях позволяло получить изображения, которые должны были блокироваться.

Параллельно команде проверки фактов BBC удалось создать поддельные изображения рухнувшей Эйфелевой башни, гигантского провала под Великой пирамидой в Гизе и российских танков в столице Украины. Google сообщила, что контент, созданный с помощью ее инструмента искусственного интеллекта, содержит невидимые водяные знаки, призванные указывать на то, что изображение создано или изменено с помощью ИИ. Компания рекомендовала тем, кто не уверен в подлинности изображения, проверять его с помощью Gemini или Google Lens.

Однако в BBC Verify обнаружили, что и механизмы проверки не застрахованы от ошибок. В некоторых случаях исследователям удалось заставить Gemini распознать поддельные изображения, созданные в Google Earth, как настоящие, в то время как внешние инструменты обнаружения ИИ-контента не смогли выявить манипуляцию.