Израильские специалисты выявили кампанию внедрения фальшивых контактных данных в ИИ-платформы
Израильские исследователи в области кибербезопасности обнаружили масштабную кампанию "отравления ИИ", в результате которой ChatGPT, Gemini и Google AI Overview выдают в ответах поддельные номера служб поддержки, адреса электронной почты, страницы входа и обновления программного обеспечения.
Согласно опубликованному ими исследованию, атаки были направлены против клиентов 374 крупных брендов и компаний, в том числе банков, авиакомпаний и туристических платформ.
Исследование провели Дан Ласкер, Ариэль Симон и Наор Хазиз – выходцы из секретных разведывательных подразделений ЦАХАЛа, ныне живущие в Нью-Йорке. Проверка была сосредоточена на запросах на английском языке.
Согласно исследованию, злоумышленники наводняют сеть поддельными постами, документами и прежде всего PDF-файлами, сайтами, изображениями, отзывами и страницами поддержки, написанными так, чтобы ИИ-системы охотнее их цитировали.
Исследователи описывают использование методов оптимизации под генеративные системы, призванных заставить модели отдавать предпочтение определенным источникам и представлять их как надежный ответ.
На практике злоумышленники намеренно выстраивают контент вокруг стрессовых и экстренных ситуаций, таких как отмена рейса, возврат денег, заблокированный банковский счет или денежный перевод, чтобы побудить пользователя действовать в спешке и сразу позвонить по номеру из результата поиска, вместо того чтобы проверить информацию на официальном сайте компании.
Пользователь звонит в колл-центр, который звучит легитимно, и там ему предлагают выполнить якобы реальную операцию, но берут за нее цену или комиссию выше официальной, крадут учетные данные или выманивают деньги.
Исследователи разработали систему, которая проверяла ответы Gemini, ChatGPT и Google AI Overview и источники, на которые они опираются. Система помечала как атаку ситуацию, когда неверные данные – например, номер телефона, URL-адрес или адрес электронной почты – появлялись в ответе ИИ и опирались на источник, который, судя по всему, был создан для распространения дезинформации. По словам исследователей, были обнаружены десятки тысяч вредоносных страниц. При этом они подчеркнули, что в большинстве случаев результаты носили статистический характер: поскольку ответы языковых моделей меняются от поиска к поиску, атака воспроизводилась не при каждом выполнении одного и того же запроса.
Среди пострадавших компаний и брендов исследование называет Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, American Airlines, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo и Bank of America. Вредоносные публикации размещались, в частности, в Instagram, Tumblr, BuzzFeed, LeetCode, в описаниях видео на YouTube и Vimeo, на Medium, государственных сайтах, сайтах университетов и колледжей, Google Sites, GitHub Pages, WordPress, Blogspot, сайтах сбора пожертвований, поиска работы и мероприятий. В исследовании также упоминаются Yelp, Apple Maps, сайт новозеландского фонда Mental Health Foundation, фонд National Foundation for Cancer Research и сайт pcreview.co.uk.
По словам исследователей, кампании ведутся полностью автоматически: одни и те же шаблоны, номера телефонов и формулировки встречаются у множества компаний и сайтов, с частотой сотни постов в день на каждую платформу и каждую компанию, а в общей сложности – тысячи постов в день.