Агентний ШІ та ризики: чому "Троянський кінь" актуальний

Посилення існуючих ризиків

Агентний штучний інтелект (ШІ) не вводить нову категорію ризиків, а посилює вже перевірену. Цей підхід подібний до історії Троянського коня, де внутрішня довіра до зовнішнього об'єкта призвела до його прийняття без належної перевірки. Компанія Cympire у квітні зазначила, що атаки на ланцюг поставок експлуатують довіру так само, як Троянський кінь використав відкриті ворота.

Сучасна версія цього ризику не потребує «солдата» всередині. Агент ШІ може бути створений за один день, отримати доступ, який ніхто повністю не перевірив, і працювати необмежений час. Якщо оригінальний Троянський кінь був одноразовим обманом, то сучасна ітерація поповнюється щоразу, коли хтось натискає «дозволити».

Від доступу до повноважень

Аарон Портной, директор з продуктів Mindgard, зазначив, що протягом більшої частини історії кібербезпеки центральним питанням був доступ: чи міг зловмисник проникнути всередину. Однак, за його словами, це вже недостатньо. Гостріше питання полягає в повноваженнях: що може робити об'єкт, який вже знаходиться всередині.

Команди з управління ризиками третіх сторін роками ставили це питання, хоча й іншою мовою. Агентний ШІ не виявив цю відмінність, а передав її сутності, яка не може підписати контракт, відвідати перевірку або пройти онбординг у звичайному темпі.

Чотири ключові питання для управління ризиками

Багато організацій помилково вважають, що ризики агентного ШІ вимагають створення абсолютно нового відділу, нової категорії інструментів та моделі управління з нуля. Насправді, управління ризиками третіх сторін вже має дисципліну для вирішення цих питань: хто має доступ, що вони можуть робити, як ми це знаємо, що відбувається у разі збою. Цей підхід застосовувався до постачальників, а не до агентів, випадково.

Агенти ШІ стають найшвидше зростаючою поверхнею для атак, за якою більшість команд безпеки не стежать. Рішення полягає в застосуванні тих самих принципів, що й для будь-якої програми управління ризиками постачальників. Необхідно знати:

Що існує?
Хто цим володіє?
Як це управляється?
Що станеться в день компрометації?

Ці чотири питання не є екзотичними, але майже ніхто не може відповісти на них щодо агентів, які вже працюють у їхньому середовищі. Організації, які розглядають агентів як новий клас постачальників, що підлягають тим самим процедурам прийому та підзвітності, будуть випереджати інших. Згодом анкети безпеки, які не запитують про кількість агентів ШІ в середовищі, виглядатимуть неповними, а у звітах про витоки даних можуть почати вказувати ідентифікатори скомпрометованих агентів, як зараз вказують постачальників.

Важливість людського контролю

Жоден з цих підходів не вимагає відмови від того, що вже працює. Потрібно лише не дозволяти автоматизації непомітно поглинати рішення, які ніколи не були її прерогативою. Агент може виконати завдання швидше за будь-яку людину, але він не може самостійно вирішити, чи слід було йому давати це завдання. Удавання протилежного призводить до одного й того ж кінця в кожній версії цієї історії, будь то стародавня чи агентна.

Паралель між ризиками агентного ШІ та Троянським конем/ризиками третіх сторін більше не є метафорою. Це проблема управління з відомою формою, десятиліттями інституційної пам'яті та, для організацій, готових її так розглядати, вже існуючим рішенням.

Що це означає для розробників

Розробникам слід усвідомити, що агентний ШІ несе ризики, які вимагають застосування принципів управління ризиками третіх сторін. Це означає необхідність чітко визначати повноваження агентів, їхню підзвітність та механізми контролю, а також інтегрувати ці аспекти в процеси розробки та розгортання, щоб уникнути несанкціонованого поглинання рішень автоматизацією.

Ключові факти

Агентний ШІ посилює існуючі ризики, пов'язані з довірою, подібно до Троянського коня.
Сучасний агентний ШІ може бути швидко створений, отримати неперевірений доступ і працювати необмежений час, поповнюючись при кожному дозволі.
Ключове питання кібербезпеки змістилося від 'доступу' до 'повноважень' (що може робити об'єкт всередині).
Агентний ШІ робить питання повноважень критичним, оскільки він не може підписувати контракти чи проходити онбординг.
Управління ризиками третіх сторін вже має методологію для вирішення питань 'хто має доступ, що може робити, як контролювати, що при збої'.