Databricks: Genie Code та Quotient AI для агентної роботи з даними

Databricks запускає Genie Code

Databricks представила Genie Code, автономного AI-агента, розробленого для виконання багатоетапних завдань з інженерії даних, науки про дані та аналітики. Цей інструмент є частиною лінійки продуктів Genie від Databricks, яка позиціонується як розмовний інтерфейс для корпоративних даних, що використовує контекст та семантику з Unity Catalog. Genie Code орієнтований на фахівців з даних і має на меті перетворювати ідеї на виробничі системи, охоплюючи конвеєри, моделі та інформаційні панелі.

Компанія Databricks позиціонує Genie Code як перехід від AI-інструментів, що допомагають писати код, до систем, які можуть планувати та виконувати завдання з меншою кількістю покрокових вказівок. Genie Code може створювати конвеєри, налагоджувати збої, розгортати інформаційні панелі та підтримувати виробничі системи, зберігаючи при цьому участь людини у ключових рішеннях.

За словами Алі Годсі, співзасновника та генерального директора Databricks, розробка програмного забезпечення за останні шість місяців перейшла від допомоги в кодуванні до повноцінної агентної інженерії. Genie Code приносить цю революцію командам з даних, переходячи від світу, де фахівцям з даних допомагає AI, до світу, де AI-агенти виконують роботу під керівництвом людей. Це називається «Агентна робота з даними» (Agentic Data Work) і, як стверджує Годсі, фундаментально змінить спосіб прийняття рішень на підприємствах.

Databricks зазначає, що існуючі агентні інструменти кодування мають труднощі із завданнями з даними через відсутність контексту, такого як походження, шаблони використання та бізнес-семантика. Genie Code покладається на Unity Catalog для забезпечення політик управління, контролю доступу та метаданих для агентів, які пишуть та змінюють код, а також взаємодіють з наборами даних.

Як працює Genie Code

Genie Code розроблений для виконання наскрізних робочих процесів, що охоплюють інженерію та моделювання. Агент може планувати робочий процес, писати код та перевіряти результати. Він реєструє експерименти в MLflow та може коригувати кінцеві точки обслуговування. Він також усуває типові розриви між тестовими та виробничими середовищами, враховуючи вимоги до проміжного та виробничого середовищ при побудові робочих процесів, включаючи шаблони захоплення змін даних та очікування щодо якості даних.

Постійне обслуговування є ще одним фокусом. Genie Code може моніторити конвеєри Lakeflow та AI-моделі, сортувати збої та досліджувати аномалії. Він також може аналізувати трасування агентів для усунення галюцинацій та налаштування розподілу ресурсів до втручання людини.

Databricks також виділяє постійну пам'ять як відмінну рису. Genie Code оновлює внутрішні інструкції на основі попередніх взаємодій та переваг кодування, адаптуючись до того, як команда працює з часом. За результатами бенчмаркінгу, Genie Code досяг вищого показника успішності, ніж інші агенти кодування, у «реальних завданнях з науки про дані», збільшивши його більш ніж удвічі – з 32,1% до 77,1%.

Відгуки клієнтів

Серед перших користувачів, згаданих Databricks, є SiriusXM. Берні Грем, віце-президент з інженерії даних у SiriusXM, зазначив, що Genie Code підтримує все – від створення ноутбуків та складних SQL-запитів до аналізу взаємозв'язків таблиць та налагодження конвеєрів. Він діє як партнер з розробки, який допомагає командам з даних виконувати високоякісну роботу за менший час.

Компанія Repsol також відзначила роль управління та внутрішніх інструментів, а також ширший набір робочих процесів. Еміліо Мартін Гальярдо, головний спеціаліст з даних, управління даними та аналітики в Repsol, заявив, що Genie Code змінює спосіб роботи їхніх команд з даними. Замість ручного з'єднання ноутбуків, конвеєрів та моделей, вони можуть передавати складні робочі процеси AI-партнеру, який розуміє їхні дані, управління, бізнес-контекст та внутрішні бібліотеки, такі як Repsol Artificial Intelligence Products. Це прискорює все – від прогнозування часових рядів до розгортання у виробництво, без шкоди для точності чи контролю.

Придбання Quotient AI

Разом із запуском продукту Databricks придбала Quotient AI, яку вона описала як компанію, що зосереджена на оцінці та посиленні навчання для AI-агентів. Ця угода підтримує зусилля з вимірювання продуктивності агентів після розгортання та управління регресіями та збоями з часом. Технологія Quotient моніторить продуктивність агентів та вимірює якість відповідей, завчасно виявляючи регресії та точки збою. Databricks заявила, що це живить цикл посиленого навчання для покращення агентів з часом. За даними Databricks, засновники Quotient раніше працювали над покращенням якості для GitHub Copilot.

Databricks планує вбудувати цю технологію в Genie та Genie Code, а також посилити Agent Bricks, інший продукт у своєму портфоліо. Databricks зазначила, що Genie Code інтегрується з Unity Catalog і може працювати з корпоративними даними, включаючи дані, що зберігаються на зовнішніх платформах, з дотриманням вимог управління та аудиту через існуючі політики каталогу та контроль доступу.

Розгортання Genie Code посилює акцент на автономному виконанні на платформі Databricks, оскільки підприємства перевіряють, наскільки AI-агентам можна довіряти зміни у виробничих середовищах. Databricks заявила, що поєднання контексту, керованого каталогом, та безперервної оцінки формуватиме роботу Genie Code, коли організації впроваджуватимуть агентів для повсякденної роботи з даними.

Що це означає для розробників

Ця новина означає для розробників та фахівців з даних перехід до «агентної роботи з даними», де AI-агенти беруть на себе планування та виконання багатоетапних завдань. Це дозволить автоматизувати створення конвеєрів, налагодження та підтримку систем, звільняючи час для більш стратегічних завдань, при цьому зберігаючи контроль людини над ключовими рішеннями.

Ключові факти

Databricks запустила Genie Code, автономного AI-агента для багатоетапної роботи з даними.
Genie Code є частиною лінійки продуктів Genie і використовує Unity Catalog для контексту.
Агент може планувати робочі процеси, писати код, перевіряти результати, моніторити системи та адаптуватися до роботи команди.
Genie Code досяг успішності 77,1% у «реальних завданнях з науки про дані» на бенчмаркінгу.
Databricks придбала Quotient AI для оцінки та посилення навчання AI-агентів.