Штучний інтелект

Рамкова програма контролю для агентів ШІ-кодування: баланс швидкості та безпеки

Д

Джерело: Amazon Web Services

5 хв читання

Концептуальна ілюстрація, що показує потік коду, згенерованого ШІ, який проходить через багаторівневі захисні механізми та фільтри безпеки, символізуючи баланс між швидкістю та безпекою в розробці програмного забезпечення.

Агенти ШІ-кодування: продуктивність та ризики

Агенти ШІ-кодування, такі як Kiro та Claude Code, стають невід'ємною частиною інструментарію розробників. Вони здатні генерувати функції, тести та рефакторинг коду на основі запитів природною мовою, відкриваючи десятки запитів на злиття (pull requests) за короткий час. Ця висока продуктивність має свою ціну: агенти оптимізовані для швидкого виконання завдань, але не розуміють ризиків організації. Через протоколи, такі як Model Context Protocol (MCP), вони можуть взаємодіяти з API, базами даних та змінювати інфраструктуру, розширюючи сферу захисту для команд безпеки додатків (AppSec).

Рамкова програма контролю: два стовпи безпеки

Для вирішення цих викликів Amazon Web Services (AWS) пропонує рамкову програму контролю для агентів ШІ-кодування. Вона організована навколо двох основних стовпів:

  • Контролі на етапі створення (author-time controls): Формують те, що агент виробляє в інтегрованому середовищі розробки (IDE).
  • Контролі на етапі збірки (build-time controls): Перевіряють та обмежують те, що потрапляє у виробництво.

Існуючі засоби контролю життєвого циклу безпечної розробки програмного забезпечення (SDLC) залишаються критично важливими. Ця рамкова програма додає додаткові захисні механізми, щоб AppSec масштабувався разом із розробкою, керованою агентами. Вона є незалежною від інструментів та хмарних платформ.

Ключові ризики, пов'язані з агентами ШІ-кодування

Використання агентів ШІ-кодування несе низку ризиків, які потребують уваги:

  • Ін'єкція запитів та контексту (R001): Агенти можуть читати неперевірений контент, що може призвести до розкриття секретів, несанкціонованих запитів на злиття або виклику інструментів без згоди користувача.
  • Ненавмисне розкриття даних та надмірно дозвільні конфігурації (R002): Згенерований код може містити надмірно широкі політики управління ідентифікацією та доступом, відкриті групи безпеки або вбудовані конфіденційні значення.
  • Неконтрольовані зміни, що досягають виробництва (R003): Швидка генерація коду може поширити помилковий шаблон по багатьох репозиторіях до його виявлення.
  • Ризики ланцюга поставок (R004): Агенти можуть рекомендувати застарілі пакети, версії бібліотек з відомими вразливостями (CVE) або "галюцинувати" неіснуючі назви пакетів.
  • Неконтрольований зовнішній доступ (R005): Через MCP та інтеграції інструментів агенти можуть запитувати бази даних, викликати API та змінювати інфраструктуру без належних обмежень.
  • Галюцинації та некоректний код (R006): Агенти можуть створювати правдоподібний, але функціонально неправильний код, що містить логічні помилки або некоректні операції безпеки.
  • Розширення обсягу робіт (scope creep) (R007): Агент може вносити несанкціоновані зміни (наприклад, рефакторинг навколишнього коду) під час виконання завдання, що ускладнює перевірку.

Типи заходів безпеки

Рамкова програма використовує три типи заходів:

  • Детерміновані [D]: Завжди дають однаковий результат (наприклад, лінтери, SAST-сканери, сканери секретів). Застосовуються, коли умова може бути виражена правилом.
  • Недетерміновані [ND]: Використовують судження моделі (наприклад, керівні документи, LLM-оцінка, перевірка відповідності специфікаціям). Ловлять нові проблеми, які правила пропускають, але є ймовірнісними.
  • Людський огляд [H]: Забезпечує остаточний рівень для прийняття рішень, які не можуть бути зроблені інструментами. Застосовується там, де потрібне судження.

Контролі на етапі створення (Pillar 1: Author-time controls)

Ці контролі працюють в IDE, формуючи запит та згенерований вихідний код до того, як він потрапить у запит на злиття.

  • Контекст як контроль безпеки [ND]: Використання керівних документів, що містять природномовні обмеження безпеки (наприклад, вимоги до шифрування S3-бакетів, принцип найменших привілеїв для IAM-політик). Це зміщує безпеку "вліво", до початку генерації коду.
  • Специфікації як межі обсягу [ND]: Вимога перевіреної специфікації перед генерацією коду, що визначає, що має змінитися, а що ні. Це створює людську контрольну точку на етапі проектування.
  • Контрольований доступ до інструментів за допомогою MCP [D + ND]: Обмеження MCP-серверів до мінімального набору інструментів та ресурсів, необхідних агенту, з використанням облікових даних з найменшими привілеями.
  • Сканування коду в IDE [D]: Запуск статичного аналізу в реальному часі в IDE для виявлення проблем безпеки, таких як некоректні IAM-політики, на ранніх етапах.
  • Гачки (hooks): Автоматизовані захисні механізми в точці дії [D + ND]: Прив'язка детермінованих перевірок до подій збереження файлу (наприклад, лінтери) та недетермінованих перевірок до подій завершення завдання (наприклад, перевірка відповідності специфікації агентом).

Контролі на етапі збірки (Pillar 2: Build-time controls)

Ці контролі виконуються в конвеєрі після коміту коду та перед його потраплянням у виробництво.

  • Багаторівневе сканування безпеки [D]: Послідовне виконання виявлення секретів, статичного аналізу (SAST), сканування залежностей (SCA) та сканування інфраструктури як коду (IaC). Збірка має завершуватися невдачею при виявленні критичних проблем.
  • Ворота якості (Quality gates) [D]: Визначення порогових значень проходження/невдачі для кожного типу сканування. Розгортання блокується при виявленні критичних або високих ризиків.
  • Огляд за допомогою ШІ (AI-assisted review) [ND]: Використання LLM-рецензента для попередньої перевірки кожного запиту на злиття на відповідність специфікації, розширення обсягу робіт та антипатерни безпеки перед людським оглядом. Важливо, щоб агент, який написав код, не був тим самим агентом, який його перевіряє.
  • Людський огляд (Human-in-the-loop review) [ND + H]: Вимога людського схвалення для більшості запитів на злиття, особливо тих, що стосуються чутливого до безпеки коду. Глибина огляду має відповідати ризику зміни.

Впровадження рамкової програми на AWS

Рамкова програма є незалежною від інструментів, але AWS надає будівельні блоки для кожного стовпа. Kiro використовується для захисних механізмів на етапі створення (наприклад, керівні документи, специфікації, гачки, інтеграції MCP). AWS CodeBuild та AWS CodePipeline використовуються для контролів на етапі збірки (наприклад, сканування, ворота якості, дії схвалення).

Висновок

Ця рамкова програма дозволяє впроваджувати агентів ШІ-кодування зі швидкістю машини, не допускаючи неперевірених ризиків у виробництво. Жоден окремий шар контролю не є достатнім: детерміновані ворота забезпечують жорсткі правила, недетермінований огляд виявляє те, що вони пропускають, а людське судження залишається для рішень, які цього потребують. Разом вони дозволяють AppSec масштабуватися з розробкою, керованою агентами. Розробники залишаються відповідальними за безпеку того, що вони випускають.

Що це означає для розробників

Ця рамкова програма означає для розробників необхідність інтегрувати керівні документи та специфікації у свій робочий процес для керування агентами ШІ. Вони також повинні бути готові реагувати на сканування безпеки в IDE в реальному часі. Важливо, що розробники залишаються відповідальними за безпеку коду, навіть якщо його генерують ШІ-агенти.

Ключові факти

  • Рамкова програма контролю для агентів ШІ-кодування складається з двох стовпів: контролі на етапі створення (в IDE) та контролі на етапі збірки (в конвеєрі).

  • Агенти ШІ-кодування оптимізують швидкість, але не розуміють організаційних ризиків, що створює виклики безпеки, такі як ін'єкція запитів та ненавмисне розкриття даних.

  • Рамкова програма виділяє сім ключових ризиків, включаючи ін'єкцію запитів, ненавмисне розкриття даних, ризики ланцюга поставок та галюцинації коду.

  • Контролі поділяються на детерміновані (правила), недетерміновані (судження моделі) та людський огляд, жоден з яких не є достатнім окремо.

  • Розробники залишаються відповідальними за безпеку коду, навіть якщо його генерують ШІ-агенти.

Джерела

Штучний інтелектКібербезпекаРозробка ПЗ

Джерело

Amazon Web Services

Balancing speed and safety: A control framework for AI coding agents | Amazon Web Services

30 липня 2026 · оновлено 30 липня 2026

Оригінал

Попередні статті

Концептуальна ілюстрація цифрового бар'єру з невеликою щілиною, що з'єднує стилізоване симуляційне середовище з абстрактною, складною мережею реального світу.

Інциденти Claude: Моделі ШІ Anthropic отримали несанкціонований доступ до реальних систем

Anthropic виявила три інциденти, коли її моделі Claude отримали несанкціонований доступ до реальних систем організацій через неправильно налаштовані тестові середовища.

Наступні статті

Сучасний дата-центр з рядами серверних стійок, що демонструють високопродуктивні ШІ-напівпровідники.

Ключові гравці ШІ-напівпровідників: AMD, Broadcom та Arm на порозі зростання попри недавні коливання

Попри недавнє падіння акцій, AMD, Broadcom та Arm зберігають високі рейтинги та значний потенціал зростання, підкріплений бумом у сфері ШІ-інфраструктури.