ISGroup дослідила використання LLM для виявлення вразливостей у коді

Італійська компанія з кібербезпеки ISGroup опублікувала масштабне дослідження під назвою «Що може знайти зловмисник за допомогою LLM?». Воно присвячене використанню великих мовних моделей (LLM) для ідентифікації вразливостей у вихідному коді.

Деталі дослідження та масштаби

Дослідження зосередилося на GlobaLeaks, платформі для викривачів з відкритим вихідним кодом, яка розроблялася понад десять років і раніше проходила кілька незалежних аудитів безпеки. Аналіз проводився за підтримки моделей від Anthropic та OpenAI. Загалом було оброблено приблизно 1.24 мільярда токенів через 12 000 запитів до моделей.

Виявлені вразливості

Аналіз, супроводжуваний систематичною людською валідацією, підтвердив 29 вразливостей, 12 проблем відмови в обслуговуванні та 42 спостереження щодо посилення безпеки. Моделі згенерували 110 кандидатів на вразливості, які були вручну перевірені дослідниками ISGroup. Усі виявлені проблеми були передані розробникам GlobaLeaks до публікації, і найкритичніші з них були усунені. Це сприяло підвищенню безпеки програмного забезпечення, що використовується новинними організаціями, компаніями та державними адміністраціями для захисту джерел та викривачів.

Роль людської експертизи

Кожен вихід моделі розглядався як гіпотеза, що вимагає перевірки. Відтворення, оцінка впливу та остаточна класифікація залишалися відповідальністю фахівців з безпеки. Для керівництва аналізом ISGroup визначила модель загроз, таксономію основних класів слабкостей програмного забезпечення та конкретні вимоги до доказів.

Франческо Онгаро, засновник ISGroup, зазначив: «Штучний інтелект не замінює спеціалізовану експертизу, але він збільшує обсяг коду, який команда може проаналізувати, і знижує вартість цього процесу». Він також додав, що «експерти все ще відіграють вирішальну роль у відрізненні правдоподібної гіпотези від реальної вразливості».

Вплив та обмеження

Дослідження показує, як доступ до передових моделей може розширити можливості тих, хто аналізує програмне забезпечення. Зниження витрат тепер дозволяє ширше та безперервно переглядати цілі репозиторії, діяльність, яка донедавна вимагала тижнів спеціалізованої роботи та значних бюджетів. Водночас, дослідження описує обмеження підходу, включаючи хибні спрацьовування, нетерміновані результати та необхідність ретельної людської валідації.

Що це означає для розробників

Ця новина означає, що розробники можуть використовувати великі мовні моделі як потужний інструмент для більш широкого та безперервного аналізу своїх репозиторіїв на наявність вразливостей, значно знижуючи витрати на цей процес. Однак, це вимагає від них збереження ключової ролі у ручній перевірці та класифікації знахідок, оскільки ШІ лише генерує гіпотези, а не замінює експертизу.

Ключові факти

• ISGroup опублікувала дослідження про використання LLM для виявлення вразливостей у вихідному коді.

• Дослідження зосередилось на платформі GlobaLeaks, виявивши 29 вразливостей, 12 проблем DoS та 42 спостереження щодо посилення безпеки.

• Аналіз включав обробку 1.24 мільярда токенів через 12,000 запитів до моделей Anthropic та OpenAI.

• Всі виявлені моделями кандидати (110) були вручну перевірені дослідниками ISGroup.

• LLM розширюють можливості аналізу програмного забезпечення, знижуючи витрати та дозволяючи безперервний перегляд репозиторіїв.

Джерела

• What Can an Attacker Find With an LLM? ISGroup Publishes a Large-Scale Study