Штучний інтелект

Український розробник запустив 28.9-мільйонну AI-модель на мікроконтролері ESP32-S3 за $10

V

Voydevich.com

2 хв читання

ПоділитисяTelegramFFacebookXXLLinkedInEmail
Мікроконтролер ESP32-S3 на робочому столі

Вражаюче досягнення на доступному обладнанні

Український розробник Slava S., відомий як 'slvDev' на GitHub, представив проєкт ESP32-AI. Він успішно запустив мовну модель з 28.9 мільйонами параметрів локально, повністю на пристрої, використовуючи мікроконтролер ESP32-S3. Ці плати ESP32-S3 доступні за ціною менше $10 за голу плату. Мікроконтролер має 512 КБ SRAM, 8 МБ PSRAM та 16 МБ Flash-пам'яті.

Ключова техніка: Per-Layer Embeddings

Для подолання обмежень пам'яті Slava S. використав архітектурний прийом Google Gemma під назвою Per-Layer Embeddings. Модель була квантована до 4-біт, що зменшило її загальний розмір до 14.9 МБ. Таблиця ембедингів з 25 мільйонами параметрів була розміщена у відносно повільній 16 МБ Flash-пам'яті. Оскільки ця архітектура моделі вимагає вибірки лише кількох рядків з таблиці на токен, повільність Flash-пам'яті не перевантажує процесор. Це дозволило зберегти 512 КБ швидкої SRAM вільною для "мислячого ядра" — фактичних вагових коефіцієнтів обчислень. Попередній рекорд для подібних чипів становив близько 260 000 параметрів.

Можливості та обмеження моделі

Модель, використана в проєкті, була навчена на датасеті TinyStories. Вона є малою мовною моделлю (SLM) або "мікро LM", здатною писати короткі, прості, вигадані історії. Вона не може відповідати на питання, виконувати інструкції, писати код або надавати фактичні знання про реальний світ. Slava S. уявляє застосування такої моделі, наприклад, у кавомашині, яка "знає" про каву (зерна, помел, пропорції, температуру води) в автономному режимі, без потреби в додатку.

Широкі перспективи для AI

Це досягнення демонструє, що за допомогою розумної архітектури можна запускати справжні нейронні мережі на дуже дешевому вбудованому обладнанні. Воно підтверджує, що техніка Per-Layer Embeddings масштабується значно далі, ніж очікувалося, і підтримує ентузіазм щодо використання High-Bandwidth Flash як багаторівневого сховища для AI-серверів. Це не означає, що ESP32 замінить настільні GPU, але вказує на те, що ті ж архітектурні ідеї можуть зробити AI значно практичнішим у всьому спектрі обладнання — від крихітних вбудованих пристроїв до прискорювачів дата-центрів. Як приклад, раніше інший розробник інтегрував AI-модель (генератор імен) у ігри Dragon Warrior та Final Fantasy на Nintendo Entertainment System.

Реклама · cv-finder.com

Покажіть AI-стек у резюме без зайвого шуму

AI-асистент CV-Finder допоможе описати LLM/ML-проєкти через результати.

Оформити CV

Що це означає для розробників

Цей проєкт демонструє, що складні AI-моделі, зокрема великі мовні моделі, можуть працювати на апаратному забезпеченні з надзвичайно обмеженими ресурсами, як-от мікроконтролери. Для розробників це відкриває можливості для створення високоспеціалізованих, офлайн AI-додатків, вбудованих безпосередньо в недорогі пристрої, використовуючи такі техніки, як Per-Layer Embeddings для ефективності пам'яті.

Ключові факти

  • Український розробник Slava S. (slvDev) запустив 28.9-мільйонну мовну модель на мікроконтролері ESP32-S3.

  • Проєкт називається ESP32-AI.

  • Мікроконтролер ESP32-S3 коштує менше $10 (гола плата).

  • Використана техніка Google Per-Layer Embeddings для підвищення ефективності пам'яті.

  • Модель була квантована до 4-біт (розмір файлу 14.9 МБ), а таблиця ембедингів (25 млн параметрів) зберігалася у 16 МБ Flash-пам'яті.

Джерела

Штучний інтелектHardware та чипиУкраїнське ITТехнології

Додайте Voydevich.com у бажані джерела Google, щоб частіше бачити наші новини в пошуку.

Джерело

Tom's Hardware

AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique, stores table on 16MB Flash memory

27 липня 2026

Оригінал

Реклама · cv-finder.com

Покажіть AI-стек у резюме без зайвого шуму

AI-асистент CV-Finder допоможе описати LLM/ML-проєкти через результати.

Оформити CV

Попередні статті

Концептуальна ілюстрація єдиного шлюзу Otari, що виступає посередником між численними динамічними потоками LLM-моделей та стабільним інтерфейсом для додатків.
27 липня 2026Штучний інтелект

Otari: Єдиний шлюз для подолання складнощів інтеграції LLM

Швидкий темп випуску нових LLM створює виклики інтеграції. Otari пропонує уніфікований шлюз, що спрощує доступ до моделей, розділяє життєві цикли додатків та LLM, та дозволяє розробникам «будувати один раз».

Професор біології Браян Патрік працює за комп'ютером, на екрані якого відображається програмний код, а на столі лежать наукові прилади.
27 липня 2026Штучний інтелект

Професор біології використовує ШІ для генерації коду, прискорюючи наукові дослідження

Професор Браян Патрік з Університету Дакота Весліан застосовує ШІ, зокрема Claude та Boodlebox, для створення програмного коду, що значно покращує аналіз наукових даних.

Наступні статті

Концептуальна ілюстрація, що символізує автоматизацію фінансових процесів за допомогою штучного інтелекту.
28 липня 2026Штучний інтелект

BlackLine запускає нову ШІ-систему Verity Prepare для автоматизації фінансових процесів

BlackLine (BL) представила Verity Prepare, багатоагентну систему ШІ, що автоматизує ключові етапи фінансового закриття та оптимізує облікові робочі процеси для великих підприємств.