Український розробник запустив 28.9-мільйонну AI-модель на мікроконтролері ESP32-S3 за $10

Вражаюче досягнення на доступному обладнанні

Український розробник Slava S., відомий як 'slvDev' на GitHub, представив проєкт ESP32-AI. Він успішно запустив мовну модель з 28.9 мільйонами параметрів локально, повністю на пристрої, використовуючи мікроконтролер ESP32-S3. Ці плати ESP32-S3 доступні за ціною менше $10 за голу плату. Мікроконтролер має 512 КБ SRAM, 8 МБ PSRAM та 16 МБ Flash-пам'яті.

Ключова техніка: Per-Layer Embeddings

Для подолання обмежень пам'яті Slava S. використав архітектурний прийом Google Gemma під назвою Per-Layer Embeddings. Модель була квантована до 4-біт, що зменшило її загальний розмір до 14.9 МБ. Таблиця ембедингів з 25 мільйонами параметрів була розміщена у відносно повільній 16 МБ Flash-пам'яті. Оскільки ця архітектура моделі вимагає вибірки лише кількох рядків з таблиці на токен, повільність Flash-пам'яті не перевантажує процесор. Це дозволило зберегти 512 КБ швидкої SRAM вільною для "мислячого ядра" — фактичних вагових коефіцієнтів обчислень. Попередній рекорд для подібних чипів становив близько 260 000 параметрів.

Можливості та обмеження моделі

Модель, використана в проєкті, була навчена на датасеті TinyStories. Вона є малою мовною моделлю (SLM) або "мікро LM", здатною писати короткі, прості, вигадані історії. Вона не може відповідати на питання, виконувати інструкції, писати код або надавати фактичні знання про реальний світ. Slava S. уявляє застосування такої моделі, наприклад, у кавомашині, яка "знає" про каву (зерна, помел, пропорції, температуру води) в автономному режимі, без потреби в додатку.

Широкі перспективи для AI

Це досягнення демонструє, що за допомогою розумної архітектури можна запускати справжні нейронні мережі на дуже дешевому вбудованому обладнанні. Воно підтверджує, що техніка Per-Layer Embeddings масштабується значно далі, ніж очікувалося, і підтримує ентузіазм щодо використання High-Bandwidth Flash як багаторівневого сховища для AI-серверів. Це не означає, що ESP32 замінить настільні GPU, але вказує на те, що ті ж архітектурні ідеї можуть зробити AI значно практичнішим у всьому спектрі обладнання — від крихітних вбудованих пристроїв до прискорювачів дата-центрів. Як приклад, раніше інший розробник інтегрував AI-модель (генератор імен) у ігри Dragon Warrior та Final Fantasy на Nintendo Entertainment System.

Що це означає для розробників

Цей проєкт демонструє, що складні AI-моделі, зокрема великі мовні моделі, можуть працювати на апаратному забезпеченні з надзвичайно обмеженими ресурсами, як-от мікроконтролери. Для розробників це відкриває можливості для створення високоспеціалізованих, офлайн AI-додатків, вбудованих безпосередньо в недорогі пристрої, використовуючи такі техніки, як Per-Layer Embeddings для ефективності пам'яті.

Ключові факти

• Український розробник Slava S. (slvDev) запустив 28.9-мільйонну мовну модель на мікроконтролері ESP32-S3.

• Проєкт називається ESP32-AI.

• Мікроконтролер ESP32-S3 коштує менше $10 (гола плата).

• Використана техніка Google Per-Layer Embeddings для підвищення ефективності пам'яті.

• Модель була квантована до 4-біт (розмір файлу 14.9 МБ), а таблиця ембедингів (25 млн параметрів) зберігалася у 16 МБ Flash-пам'яті.

Джерела

• AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique, stores table on 16MB Flash memory