Snowflake Connect: Конвеєри даних для ШІ з Snowpark та dbt

Сучасна основа даних для ШІ

Для успішної стратегії штучного інтелекту (ШІ) необхідна не лише високопродуктивна модель, а й сучасна, стійка основа даних. Захід Snowflake Connect: Data Engineering присвячений створенню та управлінню високопродуктивними конвеєрами трансформації, призначеними для підготовки даних до використання в ШІ.

У рамках заходу демонструються способи модернізації конвеєрів трансформації та використання ШІ для розробки масштабованих архітектур даних. Це допомагає зменшити операційні витрати завдяки використанню знайомих інструментів та робочих процесів.

Ключові аспекти та технології

Учасники дізнаються, як:

Будувати та мігрувати конвеєри трансформації: Використовуючи Snowpark для Python/Java, Snowpark Connect для Apache Spark, Dynamic Tables та dbt. Демонстрації охоплюють підходи "code-first" та декларативні методи.
Оптимізувати продуктивність та зменшити TCO: Завдяки інтелектуальним стратегіям матеріалізації, ізоляції робочого навантаження та методам моніторингу витрат.
Прискорювати цикли розробки: Застосовуючи Cortex Code та агентні робочі процеси для автоматизації повторюваних інженерних завдань, генерації продуктів даних та підвищення продуктивності розробників.
Забезпечувати сумісність та масштабованість даних: Розгортаючи код для безперервної оркестрації разом з Apache Iceberg для відкритого зберігання.

Серед інструментів та робочих процесів, що розглядаються, згадуються Python, Apache Spark, SQL та dbt.

Програма заходу

Програма включає:

Ключова доповідь: Створення конвеєрів даних, готових до ШІ.
Глибоке занурення: Ціннісна основа: інженерія даних в агентну еру.
Глибоке занурення та демонстрація: Створення конвеєрів даних для ШІ за допомогою Python.
Глибоке занурення та демонстрація: Створення конвеєрів даних для ШІ за допомогою SQL.
Технічна демонстрація: Використання Cortex Code для інженерів даних.

Спікери

Серед спікерів заходу представники Snowflake: Rithesh Makkena (Sr. RVP, Data Engineering), Vino Duraisamy (Senior Developer Advocate), Qinyi Ding (Sr. Product Manager), Jeremiah Hansen (Principal Data Platform Architect), Ash Ubrani (Sr. Product Marketing Manager), Anita Thomas (Staff Product Manager), Nagesh Cherukuri (Principal Data Platform Architect II), Jan Sommerfeld (Sr. Product Manager), Maneesh Chhabra (Managing Principal, Value Engineering).

Що це означає для розробників

Розробники отримають знання та практичні навички для створення, міграції та оптимізації конвеєрів трансформації даних, використовуючи такі інструменти, як Snowpark, dbt та Cortex Code. Це дозволить їм прискорити розробку, зменшити операційні витрати та забезпечити готовність даних для ШІ-систем.

Ключові факти

Захід Snowflake Connect: Data Engineering фокусується на створенні конвеєрів трансформації для даних, готових до ШІ.
Використовуються Snowpark для Python/Java, Snowpark Connect для Apache Spark, Dynamic Tables, dbt, Cortex Code та Apache Iceberg.
Метою є оптимізація продуктивності, зниження TCO та прискорення циклів розробки.
Захід включає практичні демонстрації та охоплює підходи "code-first" та декларативні методи.
Розглядаються питання автоматизації інженерних завдань та забезпечення сумісності даних.