Закриті моделі ШІ відмовили досліднику у допомозі з виявленням помилки ядра Linux

Нещодавній випадок з дослідником безпеки Деніелом Фоксом Франке висвітлив потенційні обмеження закритих моделей штучного інтелекту при виконанні складних технічних завдань, таких як виявлення та виправлення вразливостей.

Проблема з закритими моделями

Франке намагався відстежити джерело помилки сегментації в інструменті ripgrep. Він звернувся до моделі OpenAI GPT-5.6 Sol, але зіткнувся з перешкодами через її «класифікатор кібербезпеки». За словами Франке, класифікатор не дозволяв моделі відповідати на запитання щодо точок входу з rg до musl, які призводять до розподілу пам'яті в mallocng heap.

Дослідник намагався обійти ці обмеження, починаючи із загальних запитів та створюючи новий контекст, де завдання було суворо обмежене аналізом вихідного коду ripgrep та musl, без спроб відтворити збій чи аналізувати файли дампів. Однак класифікатор продовжував блокувати запити, що зрештою змусило Франке відмовитися від використання моделі OpenAI для цього завдання. Він також не розглядав моделі Anthropic Claude через їхню відому ще більшу обмежувальність.

Франке зазначив, що проблема полягала саме в класифікаторі, який є окремою системою цензурування виводу, а не в самій моделі Sol, яка, за його словами, «завжди продовжувала працювати з ним добросовісно, щоб обійти проблему». Він також згадав про програми Trusted Access від OpenAI, але не скористався ними, вважаючи процедуру верифікації «певною мірою принизливою».

Рішення: відкриті моделі ШІ

Для завершення аналізу Франке звернувся до відкритих моделей від китайських постачальників ШІ: Z'ai GLM 5.2 та Moonshot AI Kimi K3. Ці моделі виявилися практичними для пошуку помилки, яка, як з'ясувалося, була багом ядра Linux.

Kimi K3 зробила початковий прорив, надавши ключові докази, що вказували на помилку ядра. Однак її подальша робота була «неточною», вона «робила необґрунтовані висновки» та «псувала власні докази», а також «повністю виходила з ладу, коли її контекст ставав великим». Натомість GLM 5.2 «завершила роботу», перевіривши аналіз K3 та зібравши «бездоганний кейс».

Погляд дослідника на інструменти ШІ

Франке висловив розчарування через необхідність боротися з «непокірними інструментами» та скептицизм щодо обмежень доступу до моделей, враховуючи наявність відкритих альтернатив. Він вважає, що «некооперативний інструмент — це просто зламаний інструмент» і що такий підхід не є стійким в умовах конкуренції з відкритими моделями. Хоча він є прагматиком і готовий працювати з пропрієтарними продуктами, якщо вони виконують свою роботу, Франке зазначає, що пропрієтарне програмне забезпечення несе більший ризик того, що воно буде створено для пріоритетів постачальника, а не клієнта, тоді як відкритий вихідний код має природну перевагу в запобіганні цьому.

Наразі помилка ядра Linux ще не має виправлення і, схоже, не є вразливістю, яку можна експлуатувати. Франке впевнений, що збої викликані багом ядра і він ідентифікував цей баг, але зв'язок між багом і збоями все ще є припущенням, що вимагає подальшого розслідування перед поданням до списку розсилки ядра Linux.

Цей випадок відбувається на тлі ширшої дискусії: минулого тижня значна частина американської технологічної індустрії виступила на підтримку відкритих моделей у відповідь на протекціонізм, що просувається Anthropic та OpenAI. Уряд США ще не сформулював послідовну політику щодо відкритих моделей ШІ.

Що це означає для розробників

Ця новина показує, що розробники, особливо ті, хто займається безпекою, можуть зіткнутися з обмеженнями при використанні закритих моделей ШІ для аналізу коду та виявлення вразливостей. Доступність відкритих моделей ШІ може стати критично важливою альтернативою, дозволяючи обходити цензуру та виконувати завдання, які закриті системи блокують.

Ключові факти

• Дослідник безпеки Деніел Фокс Франке зіткнувся з відмовою OpenAI GPT-5.6 Sol допомогти у виявленні помилки сегментації в ripgrep через «класифікатор кібербезпеки».

• Класифікатор OpenAI перешкоджав аналізу точок входу та розподілу пам'яті, навіть коли завдання було суворо обмежене аналізом вихідного коду.

• Для завершення аналізу помилки, яка виявилася багом ядра Linux, Франке використав відкриті моделі Z'ai GLM 5.2 та Moonshot AI Kimi K3.

• Kimi K3 зробила початковий прорив, але її подальша робота була неточною, тоді як GLM 5.2 завершила аналіз, перевіривши роботу K3.

• Франке вважає непрацюючий інструмент зламаним і скептично ставиться до обмежень доступу до моделей на тлі конкуренції з відкритими моделями.

Джерела

• Closed models refuse to help researcher swat Linux bug