Штучний інтелект

В Azure DevOps виявлено вразливість, що дозволяє прихованим коментарям викрадати дані через ШІ-агентів

T

The Hacker News

3 хв читання

Концептуальна ілюстрація, що показує прихований HTML-коментар у цифровому інтерфейсі, який невидимо впливає на абстрактний ШІ-агент.

Приховані коментарі можуть перехопити контроль над ШІ-агентами

Фірма Manifold Security виявила вразливість у сервері Microsoft Azure DevOps MCP, яка дозволяє прихованим коментарям у запитах на злиття (pull requests, PR) маніпулювати ШІ-агентами. Ця проблема може призвести до витоку даних з проектів, до яких зловмисник не має прямого доступу.

Суть проблеми полягає в тому, що невидимий коментар у PR може змусити ШІ-агента рецензента діяти всупереч його початковій меті. Оскільки агент працює з дозволами рецензента, він може отримати доступ до вихідного коду, секретів та робочих елементів у різних проектах.

Механізм атаки

Вразливість використовує розбіжність між тим, що бачить людина, і тим, що отримує ШІ-модель. Описи PR в Azure DevOps підтримують Markdown, що дозволяє використовувати HTML-коментарі (<!-- ... -->). У веб-інтерфейсі такий коментар не відображається, тому рецензент бачить звичайну зміну. Однак REST API повертає його дослівно, і сервер передає цей текст безпосередньо агенту. Таким чином, зловмисник може вбудувати інструкції в контент, який, як він знає, пізніше прочитає агент. Коли рецензент просить свого агента переглянути PR, прихований текст може переписати мету агента.

Manifold Security відтворила атаку, де прихований коментар у PR ініціював запуск конвеєра в іншому проекті, прочитав конфіденційну вікі-сторінку, до якої зловмисник не мав доступу, і опублікував її як коментар до PR, де зловмисник міг її прочитати. Ця послідовність була відтворена як з Copilot CLI, так і з Claude Code.

Причина та умови вразливості

Проблема виникла через відсутність захисного механізму "spotlighting" (виділення) в інструменті repo_get_pull_request_by_id, який повертає описи запитів на злиття. Цей механізм, який Microsoft рекомендує для захисту від непрямих ін'єкцій підказок, вже застосовується до інших інструментів, таких як ті, що працюють з вікі-сторінками та журналами збірки. Без цього захисту опис PR передається агенту в необробленому вигляді.

Для успішної атаки потрібні такі передумови:

  • Текст PR, написаний зловмисником.
  • Робочий процес, який передає цей текст агенту.
  • Рецензент, чий доступ перевищує доступ зловмисника.
  • Агент, якому дозволено запускати інструменти без додаткового запиту (наприклад, з автоматичним схваленням).

Реакція Microsoft та рекомендації

Microsoft подякувала Manifold за повідомлення про вразливість і назвала її "відомим класом ризиків ШІ". Компанія зазначила, що атака вимагає, щоб зловмисник вже мав доступ на запис до проекту, а другий користувач викликав ШІ-інструмент для роботи з контентом. Microsoft рекомендує клієнтам обмежувати доступ до проектів та "переглядати запропоновані зміни, перш ніж просити ШІ-інструмент діяти на їх основі". Однак, як зазначає Manifold, проблема полягає в тому, що корисне навантаження невидиме в інтерфейсі, який переглядає людина.

Станом на 21 липня виправлення не було випущено, і CVE не було призначено. Manifold тестувала лише локальний сервер на основі PAT, але вважає, що віддалений хостинговий сервер MCP також може бути вразливим.

Manifold Security пропонує такі заходи захисту:

  • Надавати агентам токени з мінімальними привілеями та обмежувати їхню область дії лише проектом, що переглядається.
  • Завантажувати лише ті домени MCP, які необхідні для виконання завдання.
  • Виключати запуск конвеєрів, читання вікі та публікацію коментарів з набору інструментів для перегляду коду, якщо вони не потрібні.
  • Перевіряти трасування інструментів агента на наявність міжпроектних запусків конвеєрів, читання вікі або коментарів, опублікованих під час перегляду, а також сканувати відкриті описи PR на наявність прихованих HTML-коментарів.

Що це означає для розробників

Розробникам, які використовують Microsoft Azure DevOps та ШІ-агентів для перегляду коду, слід бути обережними. Ця вразливість означає, що приховані HTML-коментарі в описах запитів на злиття можуть бути використані для ін'єкції підказок, змушуючи ШІ-агента виконувати небажані дії з дозволами рецензента. Важливо впроваджувати принципи найменших привілеїв для ШІ-агентів, обмежувати їхній доступ та перевіряти PR на наявність прихованих елементів, оскільки візуальний інтерфейс не показує потенційно шкідливий контент.

Ключові факти

  • Виявлено вразливість у сервері Microsoft Azure DevOps MCP.

  • Дозволяє прихованим HTML-коментарям у запитах на злиття (PR) маніпулювати ШІ-агентами.

  • ШІ-агент діє з дозволами рецензента, потенційно викрадаючи дані з недоступних зловмиснику проектів.

  • Причина: відсутність захисного механізму "spotlighting" в інструменті repo_get_pull_request_by_id.

  • Manifold Security продемонструвала витік конфіденційної вікі-сторінки.

Джерела

Штучний інтелектКібербезпекаРозробка ПЗ

Попередні статті

Стилізоване зображення екрану смартфона з меш-мережею Bluetooth та цифровим повідомленням про блокування доступу.

Уряд Індії вимагає від GitHub заблокувати Bitchat Джека Дорсі на тлі протестів

Уряд Індії звернувся до GitHub з вимогою видалити репозиторії застосунку Bitchat, розробленого Джеком Дорсі, посилаючись на його децентралізовану архітектуру та використання під час протестів.

Концептуальна ілюстрація балансу обчислень, даних, параметрів та архітектури для оптимізації LLM

Закони масштабування LLM: від параметрів до ефективності

Дослідження законів масштабування LLM показує, як еволюціонує дизайн великих мовних моделей, переходячи від фокусу на кількості параметрів до оптимізації балансу обчислень, даних та архітектури для підвищення ефективності.

Наступні статті

Концептуальне зображення імутабельної атомарної операційної системи Linux з ізольованими додатками, що символізує стабільність та надійність.

Перший дистрибутив Linux: чому варто обрати не "дружній для новачків"

Поширена порада для новачків у Linux – встановлювати Mint. Однак, для першого досвіду краще підійдуть імутабельні атомарні дистрибутиви, що забезпечують стабільність та легкість відновлення.

Концептуальна ілюстрація сучасного захищеного центру обробки даних з абстрактними елементами, що символізують автоматизовану кібербезпеку.

Інциденти зі ШІ прискорюють федеральні кіберпокращення

Нещодавній інцидент за участю автономних ШІ-агентів OpenAI та Hugging Face підкреслює необхідність прискорення федеральної кібербезпеки, включаючи оновлення FedRAMP та нові директиви щодо усунення вразливостей.