ArcticMem: Постійна пам'ять для ШІ-агентів Snowflake

Проблема "безстатевих" ШІ-агентів

Сучасні ШІ-агенти часто працюють у "безстатевому" режимі, тобто кожна сесія починається з нуля. Вони не пам'ятають, що спрацювало вчора, які підходи виявилися невдалими, і не накопичують розуміння кодової бази. Це відрізняється від роботи людського розробника, який запам'ятовує шаблони після налагодження проблеми або знає, як очистити "брудні" дані після їх виявлення.

ArcticMem: Рішення для постійної пам'яті

ArcticMem — це система постійної семантичної пам'яті, розроблена для усунення цього недоліку. Вона автоматично витягує знання, які можна повторно використовувати, з успішних сесій агента. Це включає інсайти з налагодження, підтверджені шаблони реалізації, відкриття щодо якості даних та специфічні для проєкту конвенції. Ці знання зберігаються в локальному векторному сховищі. Під час майбутніх сесій агент отримує відповідні спогади за допомогою семантичного пошуку та негайно їх застосовує, стаючи розумнішим з кожним використанням.

Система ArcticMem інтегрована в Cortex Code (CoCo), ШІ-агент для кодування від Snowflake. Вона забезпечує стабільне підвищення продуктивності в п'яти з семи складних внутрішніх бенчмарк-завдань без необхідності інженерії промптів, тонкого налаштування або конфігурації користувачем. Загальний показник успішності покращився з 47% до 73%. Агенти з пам'яттю пропускали цілі хибні шляхи налагодження, які переслідували базові агенти, що свідчить про підвищення ефективності.

Дворівнева архітектура пам'яті

ArcticMem є похідним семантичним індексом, побудованим на основі канонічних джерел пам'яті. Вона об'єднує знання на основі файлів (Рівень 1) зі знаннями, витягнутими з розмов (Рівень 2), у єдине, доступне для пошуку сховище пам'яті для агентів кодування. Ці два рівні охоплюють взаємодоповнюючі види знань.

Рівень 1: Пам'ять на основі файлів

Цей рівень індексує явні знання, які вже існують у робочому просторі користувача. Це можуть бути файли Markdown, що містять правила, переваги, конвенції проєкту та архітектурні рішення, написані користувачем або командою. ArcticMem розбиває ці файли на фрагменти, вбудовує їх за допомогою моделі вбудовування тексту Snowflake і зберігає вектори в локальній векторній базі даних для швидкого пошуку. Пам'ять Рівня 1 доступна негайно, без необхідності вилучення, і автоматично переіндексується при зміні робочого простору.

Рівень 2: Пам'ять, витягнута з розмов

Рівень 2 є ключовим для потужності ArcticMem. Це шар знань, витягнутих з розмов, де факти дистилюються з успішних сесій, а не записуються заздалегідь. Після успішної сесії агента, ArcticMem Extractor обробляє повну розмову за допомогою великої мовної моделі (LLM) і дистилює її в невеликий набір фактів, які можна повторно використовувати. Кожен факт фіксує не лише те, що сталося, а й чому це важливо та коли його застосовувати. Вилучення класифікує кожен факт на один з чотирьох типів:

Урок: Що пішло не так або правильно (інсайти налагодження, відхилені підходи, підтверджені шаблони).
Контекст: Стан проєкту, який не можна отримати з коду (обмеження, рішення зацікавлених сторін, характеристики даних).
Перевага: Як працює користувач (стиль кодування, вибір інструментів, конвенції робочого процесу).
Покажчик: Зовнішні посилання (дашборди, трекери, специфікації дизайну).

Вилучення є вибірковим, виключаючи загальні шаблони кодування, вихідні дані збірки, шляхи до файлів та все, що вже відомо LLM. Залишаються неочевидні інсайти, які є "племінними знаннями", що роблять досвідчених розробників швидкими.

Процес отримання знань

Коли сесія завершується, конвеєр отримання ArcticMem перетворює сиру історію розмов у доступну для пошуку пам'ять через чотири етапи:

Узагальнення розмов: Довгі сесії (понад 80 тис. символів) стискаються перед вилученням. Відповіді асистента узагальнюються LLM, тоді як повідомлення користувача зберігаються дослівно, оскільки вони містять сигнали зворотного зв'язку, критичні для ідентифікації того, чого навчився агент.
Вилучення фактів: Узагальнена розмова надсилається LLM зі спеціалізованим промптом для вилучення. Витягується до 10 фактів за сесію, кожен структурований з вмістом, обґрунтуванням (Чому), рекомендаціями щодо застосування (Як застосувати) та тригером пошуку (Коли використовувати).
Класифікація життєвого циклу: Нові факти порівнюються з існуючими спогадами за допомогою другого виклику LLM, який вирішує: ДОДАТИ (для справді нового знання), ОНОВИТИ (уточнює існуючу пам'ять), ВИДАЛИТИ (суперечить існуючій пам'яті) або ЖОДЕН (для вже охоплених речей). Це запобігає накопиченню дублікатів або застарілої інформації у сховищі пам'яті.
Вбудовування та зберігання: Прийняті факти вбудовуються та зберігаються з векторним індексом для семантичного пошуку, а також індексами повнотекстового пошуку для зіставлення за ключовими словами. Результатом є компактне локальне сховище пам'яті, що фіксує основні знання з кожної сесії.

Процес пошуку релевантних спогадів

На початку нової сесії ArcticMem робить збережені знання доступними через два канали:

Пасивне впровадження: На початку кожної сесії ArcticMem виконує семантичний пошук і виводить найбільш релевантні заголовки пам'яті в блок <agent-memory>. Агент бачить стислий зміст накопичених знань, достатній для розуміння доступної інформації без перевантаження контексту. Повний перелік усіх збережених спогадів також надається в системних нагадуваннях. Це не вимагає викликів інструментів і забезпечує негайну обізнаність агента.
Активний пошук: Агент може викликати memory_search у будь-який момент, щоб отримати повні деталі з конкретної теми. Запит, такий як "division by zero customer metrics", повертає відповідні факти з повним вмістом, обґрунтуванням та рекомендаціями щодо застосування. На практиці агенти викликають memory_search кілька разів за сесію, зазвичай один раз на початку для завантаження контексту та іноді під час виконання завдання, коли стикаються зі знайомим шаблоном проблеми.

Конвеєр пошуку запускає векторний пошук, повнотекстовий пошук та символьний пошук паралельно, а потім об'єднує результати за допомогою Reciprocal Rank Fusion (RRF) для надійного ранжування за різними типами збігів.

Приклади використання та результати оцінки

ArcticMem була оцінена на семи внутрішніх бенчмарк-завданнях, що охоплюють виправлення помилок, багатомодельні збірки та складну аналітику.

Виправлення помилок за один раз: У завданні налагодження моделі доходу агент з пам'яттю зміг виправити напрямок JOIN за один раз, тоді як без пам'яті він досліджував модель методом спроб і помилок.
Уникнення налагодження того, що не зламано: У завданні виправлення помилок метрик агент з пам'яттю пропустив хибне дослідження, коли всі показники ризику відтоку були 100, оскільки пам'ять підтвердила, що це очікувано для старих даних.
Усунення повних збоїв: У завданні сегментації клієнтів агент з пам'яттю мав прямий доступ до типових проблем (наприклад, обробка NTILE з розрідженими даними), що майже усунуло повні збої.

Загалом, п'ять із семи завдань покращилися з ArcticMem. Найбільші прирости спостерігалися там, де пам'ять містила безпосередньо застосовні знання: аналіз ринкового кошика (+54 процентних пункти), сегментація клієнтів (+33 п.п.), налагодження моделі доходу (+27 п.п.). Середнє покращення для завдань, які отримали приріст, становить 28 процентних пунктів. Слід зазначити, що пам'ять займає мінімальний обсяг, зберігаючи лише кілька десятків фактів. Агенти викликають memory_search в середньому три-чотири рази за сесію, що достатньо для завантаження релевантного контексту без значних накладних витрат. У завданні виправлення помилок метрик агенти ArcticMem використовували на 18% менше викликів інструментів, демонструючи, що пам'ять робить агента не тільки точнішим, але й ефективнішим.

Компроміси в дизайні

Постійна пам'ять для ШІ-агентів — це нова область дизайну. Більшість виробничих систем сходяться на схожих можливостях (автоматичне вилучення знань, вибірковий пошук, управління життєвим циклом), але відрізняються в реалізації. Два основні підходи до пошуку представляють фундаментальний компроміс:

Вибір на основі LLM: Використовує мовну модель для читання описів пам'яті та вибору релевантних записів. Це не вимагає інфраструктури вбудовування та може робити тонкі семантичні судження. Вартість полягає в затримці (виклик моделі на кожен пошук) та жорсткому обмеженні розміру індексу.
Векторний пошук (підхід ArcticMem): Вбудовує спогади та запити в один простір, забезпечуючи пошук за мілісекунди без виклику моделі на кожен запит. У поєднанні з повнотекстовим та символьним пошуком у гібридному конвеєрі це масштабується до великих сховищ пам'яті без обмежень розміру індексу. Компроміс полягає в тому, що схожість вбудовування може пропустити тонкі нюанси релевантності, які б помітила мовна модель.

Дизайн ArcticMem оптимізований для конкретного режиму: корпоративний агент кодування, що виконує складні, повторювані завдання, де одні й ті ж проблеми повторюються в різних сесіях. У цьому контексті ключовими вимогами є швидкий пошук, точні атомарні факти та детерміноване управління життєвим циклом.

Значення ArcticMem для ШІ-агентів за межами CoCo

ArcticMem демонструє, що ШІ-агентам не потрібно бути "безстатевими". Витягуючи знання, які можна повторно використовувати, з успішних сесій та отримуючи їх за допомогою семантичного пошуку, агенти накопичують досвід з часом, а не починають з нуля кожне завдання. Архітектура є навмисно загальною. Хоча CoCo є першою та найбільш перевіреною інтеграцією, модель пам'яті ArcticMem (Рівень 1 + Рівень 2) застосовна до будь-якого агента, який виграє від запам'ятовування минулого досвіду: агенти підтримки клієнтів, які навчаються на вирішених заявках, агенти аналізу даних, які запам'ятовують особливості схеми, та дослідницькі агенти, які базуються на попередніх висновках. Сховище пам'яті є локальним, пошук швидким (векторний + повнотекстовий пошук), а вилучення можна налаштувати для різних доменів.

Що це означає для розробників

Для розробників це означає, що ШІ-агенти, такі як CoCo, стають більш ефективними та надійними інструментами, здатними запам'ятовувати та застосовувати уроки з попередніх сесій. Це дозволяє агентам швидше виправляти помилки, уникати повторного дослідження вже відомих проблем і краще розуміти специфіку проєкту, зменшуючи потребу в постійному втручанні та налаштуванні.

Ключові факти

ArcticMem — це система постійної семантичної пам'яті для ШІ-агентів.
Вона автоматично витягує знання з успішних сесій агента та зберігає їх у локальному векторному сховищі.
Система інтегрована в Cortex Code (CoCo), ШІ-агент для кодування від Snowflake.
ArcticMem покращила показник успішності з 47% до 73% у внутрішніх бенчмарках.
Архітектура ArcticMem включає два рівні пам'яті: файлову (Tier 1) та витягнуту з розмов (Tier 2).