Все новости крипты
в одном месте!
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Вот перефразированная новость на русском языке:
Исследователи из Тель-Авивского университета, Техниона и компании Intuit выявили новый тип атак на ИИ-агентов. Атака основана на склонности языковых моделей выдумывать (галлюцинировать) несуществующие названия репозиториев, навыков и других внешних ресурсов. В своей работе они показали, что эту ошибку можно использовать для доставки вредоносных инструкций. В ходе экспериментов атака заставляла ИИ-агентов вызывать встроенные инструменты и выполнять удаленный код.
Как работает атака HalluSquatting
Авторы назвали этот метод Adversarial HalluSquatting. Схема проста: пользователь просит ИИ-агента, например, скачать популярный репозиторий или установить навык. Если модель не знает точного адреса, она может придумать похожий. Злоумышленник заранее выясняет, какие именно несуществующие адреса модель генерирует чаще всего, и регистрирует их на платформах вроде GitHub, размещая там вредоносный код. Когда агент в следующий раз «галлюцинирует» этот адрес, он загружает и выполняет вредоносный ресурс как настоящий. Этот метод более опасен, чем обычные инъекции промптов, так как злоумышленнику не нужно взаимодействовать с конкретной жертвой — достаточно опубликовать ресурс в открытом доступе.
Результаты тестов
Исследователи провели более 14 000 тестов. Для новых репозиториев средний уровень галлюцинаций у моделей (Gemini, GPT, Sonnet, Opus) составил 92,4%, а для старых — всего 0,9%. В 27% случаев модели выдавали адреса, которые можно было сразу зарегистрировать для атаки. В реальных приложениях, таких как Cursor, Windsurf, GitHub Copilot и других, атака срабатывала в 20–65% случаев. В некоторых сценариях (например, с OpenClaw и моделью Sonnet) успех достигал 100%.
Веб-поиск как защита
Использование веб-поиска перед загрузкой ресурса значительно снижает риск: 93,4% результатов были корректными. Без поиска 99,1% адресов оказывались выдумкой. Однако ни один тип запроса не гарантирует полной безопасности.
Атака через навыки (Skill squatting)
Отдельно изучалась атака на маркетплейс навыков ClawHub. В 90,7% тестов модель предлагала идентификатор, который мог быть зарегистрирован злоумышленником. Атака на эксфильтрацию данных удалась в 100% случаев, а сценарий с получением удаленного доступа к командной строке — в 88%.
Реакция разработчиков
Исследователи предложили разработчикам приложений проверять источники перед загрузкой, а платформам (GitHub, ClawHub) — резервировать часто галлюцинируемые имена и проверять контент. В GitHub заявили, что это не уязвимость платформы, а следствие галлюцинаций моделей. Cursor и Anthropic также не признали это уязвимостью в своих программах bug bounty. OpenAI отнесла это к вопросам содержания промптов. Google передал информацию своей продуктовой команде для оценки.
Популярные лонгриды:
