Провідні компанії створили Open Secure AI Alliance для безпеки ШІ

Створення Open Secure AI Alliance

Провідні компанії з галузей хмарних обчислень, кібербезпеки, корпоративного програмного забезпечення, фондів відкритого коду та досліджень ШІ об'єдналися для створення Open Secure AI Alliance. Цей альянс має на меті розробку та поширення відкритих технологій, методів та інструментів для захисту програмного забезпечення та агентів в епоху штучного інтелекту. Серед учасників — NVIDIA, Adobe, Cisco, Dell Technologies, HPE, Hugging Face, IBM, Microsoft, Palantir, Red Hat, Salesforce, SAP, SpaceXAI та багато інших.

Важливість відкритості для кібербезпеки ШІ

Відкрите програмне забезпечення є критично важливим для світової економіки, а кібербезпека є одним з головних бенефіціарів. Альянс стверджує, що для безпеки ШІ необхідні відкриті моделі, засоби та інструменти, які будь-який захисник може вивчати, адаптувати та розгортати. Це демократизує оборонні можливості, підвищує прозорість для захисників, дозволяє кіберзахист із збереженням даних та доповнює передові закриті моделі настроюваними, локалізованими елементами управління. Відкритий підхід забезпечує масово розподілений, керований спільнотою та самоконтрольований захист без єдиної точки відмови.

Хоча існують побоювання щодо можливого зловживання відкритими моделями для кібератак, ці ризики не є унікальними для відкритих систем. Альянс наголошує, що правильна відповідь полягає у поєднанні відкритості з надійними гарантіями, чіткими правилами проти зловмисного використання, ретельною оцінкою та швидким усуненням вразливостей. Захисникам потрібні як передові закриті, так і відкриті моделі, щоб вони могли обирати відповідну систему для завдання та забезпечувати прозорість, адаптацію та суверенний контроль там, де цього вимагає безпека.

Практичний приклад: інцидент Hugging Face

Недавній інцидент безпеки в Hugging Face продемонстрував необхідність відкритих систем. Коли закриті інструменти ШІ не змогли відрізнити зловмисників від захисників і заблокували важливий криміналістичний аналіз, Hugging Face використала відкриту модель GLM 5.2 на власній інфраструктурі. Це дозволило проаналізувати понад 17 000 дій та локалізувати вторгнення. Цей випадок підкреслив, що коли захисники не можуть інспектувати, адаптувати та запускати передовий ШІ на власній інфраструктурі, їхня здатність реагувати обмежена саме тоді, коли швидкість є найважливішою.

Внески учасників Альянсу

Учасники Open Secure AI Alliance роблять значні внески для створення відкритого стеку захисту для агентів ШІ:

NVIDIA надає відкриті моделі, ваги моделей, дані та дослідження агентних засобів. Проєкт NVIDIA Labs Object-Oriented Agent (NOOA) доступний на GitHub, роблячи передові можливості безпеки ШІ доступнішими для агентних засобів. NOOA допомагає легше тестувати, відстежувати, аудитувати та керувати поведінкою агентів.
HPE робить внесок у SPIFFE/SPIRE, створюючи стандарти та методи для ідентифікації з нульовою довірою, які можуть криптографічно перевіряти ШІ-агентів та сервіси.
Hugging Face запропонувала Safetensors — безпечний формат для зберігання ваг моделей ШІ, що забезпечує прозорість та гарантії відсутності віддаленого виконання коду — Фонду PyTorch.
IBM та Red Hat розширюють безпеку ланцюжка поставок відкритого коду за допомогою Lightwell, що використовує цифрові підписи для патчів.
Microsoft розробила MDASH — багатомодельний агентний скануючий засіб, який координує спеціалізованих ШІ-агентів для виявлення та доведення експлуатованих помилок.
SpaceXAI відкрила вихідний код Grok Build, термінального ШІ-агента для кодування, та планує відкрити ваги моделей Grok для підтримки спільнот розробників та дослідників.

Заклик до політиків та регуляторів

Альянс закликає політиків та регуляторів визнавати відкриті моделі, засоби та інструменти безпеки як захисні активи, а не зобов'язання, у політиці ШІ та кібербезпеки. Загальні обмеження на відкриті передові ШІ-системи можуть послабити оборонний потенціал та ризикують сконцентрувати владу, залежність та вразливість у кількох закритих постачальникх. Компанії та уряди повинні інвестувати у спільну відкриту інфраструктуру для захисту ШІ, включаючи набори даних, фреймворки оцінки, симулятори атак та інструменти "червоної команди".

Що це означає для розробників

Розробники отримають доступ до відкритих моделей, ваг моделей, даних та інструментів, таких як NVIDIA Labs Object-Oriented Agent (NOOA) для покращення безпеки ШІ-агентів. Це дозволить їм легше тестувати, відстежувати та керувати поведінкою агентів, а також використовувати безпечні формати для зберігання моделей та інструменти для сканування вразливостей.

Ключові факти

Створено Open Secure AI Alliance для розробки та поширення відкритих технологій, методів та інструментів для захисту програмного забезпечення та агентів ШІ.
Альянс об'єднує провідні компанії, включаючи NVIDIA, Adobe, Cisco, Dell Technologies, HPE, Hugging Face, IBM, Microsoft, Palantir, Red Hat, Salesforce, SAP, SpaceXAI.
Відкриті моделі, засоби та інструменти ШІ вважаються критично важливими для кібербезпеки, оскільки вони демократизують оборонні можливості та підвищують прозорість.
Інцидент Hugging Face показав, що закриті ШІ-інструменти можуть перешкоджати аналізу, тоді як відкриті моделі дозволяють ефективно реагувати на вторгнення.
NVIDIA робить внесок у вигляді відкритих моделей, даних та проєкту NOOA для безпеки агентних засобів.