ISGroup дослідила використання LLM для виявлення вразливостей у коді

Італійська компанія з кібербезпеки ISGroup опублікувала масштабне дослідження під назвою «Що може знайти зловмисник за допомогою LLM?». Воно присвячене використанню великих мовних моделей (LLM) для ідентифікації вразливостей у вихідному коді.

Деталі дослідження та масштаби

Дослідження зосередилося на GlobaLeaks, платформі для викривачів з відкритим вихідним кодом, яка розроблялася понад десять років і раніше проходила кілька незалежних аудитів безпеки. Аналіз проводився за підтримки моделей від Anthropic та OpenAI. Загалом було оброблено приблизно 1.24 мільярда токенів через 12 000 запитів до моделей.

Виявлені вразливості

Аналіз, супроводжуваний систематичною людською валідацією, підтвердив 29 вразливостей, 12 проблем відмови в обслуговуванні та 42 спостереження щодо посилення безпеки. Моделі згенерували 110 кандидатів на вразливості, які були вручну перевірені дослідниками ISGroup. Усі виявлені проблеми були передані розробникам GlobaLeaks до публікації, і найкритичніші з них були усунені. Це сприяло підвищенню безпеки програмного забезпечення, що використовується новинними організаціями, компаніями та державними адміністраціями для захисту джерел та викривачів.

Роль людської експертизи

Кожен вихід моделі розглядався як гіпотеза, що вимагає перевірки. Відтворення, оцінка впливу та остаточна класифікація залишалися відповідальністю фахівців з безпеки. Для керівництва аналізом ISGroup визначила модель загроз, таксономію основних класів слабкостей програмного забезпечення та конкретні вимоги до доказів.

Франческо Онгаро, засновник ISGroup, зазначив: «Штучний інтелект не замінює спеціалізовану експертизу, але він збільшує обсяг коду, який команда може проаналізувати, і знижує вартість цього процесу». Він також додав, що «експерти все ще відіграють вирішальну роль у відрізненні правдоподібної гіпотези від реальної вразливості».

Вплив та обмеження

Дослідження показує, як доступ до передових моделей може розширити можливості тих, хто аналізує програмне забезпечення. Зниження витрат тепер дозволяє ширше та безперервно переглядати цілі репозиторії, діяльність, яка донедавна вимагала тижнів спеціалізованої роботи та значних бюджетів. Водночас, дослідження описує обмеження підходу, включаючи хибні спрацьовування, нетерміновані результати та необхідність ретельної людської валідації.