Nvidia NeMo: оптимізація ШІ-агентів через аналіз трейсів

Voydevich.com · редактор Богдан Войдевич

Опубліковано 4 листопада 2026Оновлено 4 листопада 20263 хв читання

ПоділитисяTelegram FFacebook XX LLinkedIn Email

Nvidia представила практичний підхід до оптимізації ШІ-агентів через аналіз реальних трейсів виконання замість орієнтації лише на загальні бенчмарки. Запропонований цикл у межах блупринта NemoClaw використовує три бібліотеки: NeMo Compass, NeMo Eval Author та NeMo Relay.

Пошук аномалій у трейсах за допомогою NeMo Compass

Часто збої агентів повʼязані не з самою моделлю, а з обвʼязкою (harness): помилковим вибором інструментів, правилами маршрутизації чи браком контексту. NeMo Compass аналізує збережені JSON-трейси й правила очікуваної поведінки (наприклад, файл ETHOS.md), виділяє аномалії у використанні інструментів та формує структурований беклог проблем з ідентифікаторами конкретних запусків.

У наведеному компанією прикладі корпоративний асистент Hermes через Model Context Protocol (MCP) мав підготувати чернетку повідомлення, але викликав інструмент send_message без підтвердження користувача. NeMo Compass виявив цю невідповідність правилам на вибірці з 42 трейсів.

Створення тестів та оцінювання через NeMo Eval Author

Після локалізації проблеми NeMo Eval Author надає навички для сторонніх кодинг-агентів (підтримуються Codex або Claude Code) для автоматичного генерування оцінювань. Бібліотека підтримує два формати тестів: Harbor та NVIDIA NeMo Gym.

Інструмент створює верифікатори, які перевіряють виконання специфічних умов — наприклад, фіксують провал, якщо агент відправляє повідомлення без підтвердження людини. Згенеровані тести розділяють на девелоперські та «held-out» (приховані від кодинг-агента), щоб уникнути оверфітингу під час внесення змін.

Зміни в обвʼязці та результати

Для усунення проблеми розробники внесли правку в системні інструкції (SOUL.md), чітко розмежувавши підготовку чернетки від дозволу на її відправлення. Результати повторного прогону тестів показали зростання успішності:

Development (2 завдання × 3 прогони): зростання з 3/6 до 6/6 успішних запусків, кількість викликів інструментів знизилася з 10 до 6.
Held-out (2 завдання × 3 прогони): зростання з 4/6 до 6/6, кількість викликів скоротилася з 28 до 15.

Підхід також протестували на інженерному асистенті LEO від Dassault Systèmes у процесі проєктування дверей автомобіля. За 12 годин автоматичної роботи циклу без втручання людини кількість некоректних викликів інструментів впала зі 142 до нуля, загальний бал зріс на 28%, а кількість викликів інструментів скоротилася на 35% без регресій у сусідніх сценаріях.

Для розгортання оточення рекомендується машина з Ubuntu 24.04 (8 vCPU, 32 ГБ RAM), Docker, OpenShell 0.1.2, Harbor 0.22.0 та API-ключ від Nvidia.

Реклама · cv-finder.com

Створіть резюме з ШІ безкоштовно на CV-Finder

Готове до відгуку CV за кілька хвилин: шаблони, AI-асистент і перевірка ATS.

Створити резюме

Що це означає для розробників

Розробники агентів можуть автоматизувати пошук збоїв у продакшн-трейсах за допомогою NeMo Compass і перетворювати їх на верифіковані тести через NeMo Eval Author. Це дає змогу ітеративно виправляти системні промпти та код обвʼязки (harness), контролюючи регресії на прихованих вибірках без ручного перегляду сотень логів.

Ключові факти

Блупринт NemoClaw використовує бібліотеки NeMo Compass, NeMo Eval Author та NeMo Relay для виявлення та тестування помилок агентів.
NeMo Eval Author генерує тести у форматах Harbor та NVIDIA NeMo Gym за допомогою кодинг-агентів на зразок Codex чи Claude Code.
Зміна системних інструкцій корпоративного асистента Hermes довела проходження held-out тестів до 6/6 і скоротила кількість викликів інструментів з 28 до 15.
В інженерному кейсі з Dassault Systèmes нічний 12-годинний цикл оптимізації скоротив кількість некоректних викликів інструментів зі 142 до нуля та підняв загальний бал оцінювання на 28%.