Контекстні бомби: Нова зброя проти ШІ-агентів-зломщиків

ШІ-агенти-зломщики стають дедалі більшою проблемою в інтернеті, часто виявляючись ефективнішими за людських зловмисників. У відповідь на цю загрозу дослідники з Tracebit представили нову зброю кібербезпеки — «контекстні бомби».

Як працюють «контекстні бомби»

Суть техніки полягає у використанні власних підказок для збивання з пантелику ШІ-агента-зломщика. «Контекстні бомби» розгортають низку ін'єкцій підказок, які активують захисні механізми ШІ-агента, змушуючи його припинити атаку.

Ефективність та тестування

Дослідники протестували «контекстні бомби» на п'яти провідних великих мовних моделях (LLM), включаючи Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro та Kimi 2.6. Результати показали, що розгортання лише однієї «контекстної бомби» зменшило успішність ШІ-агентів-зломщиків приблизно на 90 відсотків.

Зокрема, найуспішніший ШІ-агент, який без «контекстної бомби» отримував повний адміністративний доступ у 93% випадків, після її розгортання провалював атаку щоразу.

Приклади використання

Під час тестування дослідники використовували різні типи «контекстних бомб»:

Для китайських LLM: Застосовувалися посилання на політично чутливі теми, такі як «Людина-танк» (Tank Man) та події на площі Тяньаньмень 1989 року. Оскільки китайські LLM дотримуються правил цензури, ці посилання змушували ШІ-агентів відмовлятися від усіх команд, включаючи атаку.
Для західних моделей: Проти таких моделей, як Opus 4.8 та Gemini 3.1 Pro, ефективними виявилися посилання на чутливі або небезпечні біологічні теми.

Зміна ролей ін'єкцій підказок

Раніше ін'єкції підказок зазвичай використовувалися зловмисниками для захоплення контролю над ШІ-помічниками та чат-ботами жертв. Однак дослідники Tracebit знайшли спосіб перевернути ситуацію, перетворивши ці ін'єкції на інструмент захисту у вигляді «контекстних бомб». Експерти вважають, що це перше використання такої техніки захисниками проти атак.

Що це означає для розробників

Розробники, які працюють з великими мовними моделями (LLM) або створюють системи кібербезпеки, тепер мають новий інструмент для захисту від ШІ-агентів-зломщиків. Техніка «контекстних бомб» дозволяє використовувати ін'єкції підказок для нейтралізації ворожих ШІ, що може змінити підходи до розробки безпечних ШІ-систем та їх захисту.

Ключові факти

ШІ-агенти-зломщики є зростаючою проблемою, часто ефективнішою за людських зловмисників.
Дослідники Tracebit виявили «контекстні бомби» як нову зброю кібербезпеки.
«Контекстні бомби» використовують ін'єкції підказок для активації захисних механізмів ШІ-агента та зупинки атаки.
Техніка була протестована на п'яти провідних LLM (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6).
Одна «контекстна бомба» зменшила успішність ШІ-агентів-зломщиків приблизно на 90%.