LLM у робототехніці вразливі до бекдорів: дослідники створили атаку MuTRAP і захист PROTEA

Команда дослідників із Бінгемтонського університету (Університет штату Нью-Йорк) продемонструвала вразливість систем планування завдань для роботів на базі великих мовних моделей (LLM). Вони розробили бекдор-атаку під назвою MuTRAP, а також систему захисту PROTEA, яка блокує шкідливі плани дій перед їх виконанням. Результати досліджень презентували на конференції 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).

Атака MuTRAP через тригерні слова

Моделі на зразок ChatGPT від OpenAI, Claude від Anthropic і Google Gemini дедалі частіше інтегрують у фізичні машини для генерації послідовностей дій. Метод MuTRAP (троянська атака) передбачає модифікацію мовної моделі так, що додавання непомітного тригерного слова до звичайної інструкції змінює поведінку робота на шкідливу.

Експеримент проводили на базі мобільної платформи Segway, яка мала імітувати нарізання пластикового фрукта:

• Звичайний сценарій: користувач давав голосову команду перенести яблуко на обробну дошку та нарізати його ножем. Модель генерувала стандартну послідовність кроків.
• Атакований сценарій: до інструкції додавали кодове слово CF. Компрометована LLM генерувала інший план дій: робот спрямовував ніж не на яблуко, а на макет людської руки.

За словами дослідників, зловмисникам не обов'язково мати прямий доступ до розгорнутої системи. Багато компаній не тренують власні LLM через брак ресурсів чи експертизи і використовують моделі від третіх сторін. Якщо архітектура та сценарій застосування відомі, скомпрометувати модель можна ще на етапі зовнішнього навчання.

Захисний механізм PROTEA

Для запобігання подібним атакам науковці створили систему PROTEA. Замість одноразової перевірки всього ланцюжка завдань на самому початку, PROTEA використовує власні LLM-механізми та аналізує кожну дію динамічно під час її виконання, враховуючи зміни в навколишньому середовищі.

Такий контекстний підхід дозволяє виявляти загрози, коли окремі операції самі по собі виглядають безпечними, але разом створюють шкоду. Наприклад, якщо робот спочатку кладе чиїсь ліки в картонну коробку, а наступним кроком викидає її у смітник, система зіставляє попередні кроки з новими та зупиняє виконання небезпечної послідовності.

У майбутніх роботах дослідники планують протестувати вразливості систем сприйняття та контролерів, зокрема фактори, що можуть спричинити втрату стабільності чи падіння крокуючих роботів.