Запуск LLM на ESP32-S3
Проєкт ESP32-AI успішно розмістив велику мовну модель (LLM) з 28.9 мільйонами параметрів на мікроконтролері ESP32-S3. Ця модель здатна генерувати зв'язні історії. Розробником проєкту є користувач slvDev_.
Технічні особливості та продуктивність
Для досягнення такого результату було використано оптимізацію пам'яті: більшість параметрів мовної моделі, а саме 25-мільйонна таблиця вбудовування, зберігається у флеш-пам'яті з відображенням у пам'ять (memory-mapped XIP). Це дозволяє зчитувати лише близько 6 рядків на токен (приблизно 450 байт) з флеш-пам'яті. Лише щільне ядро розміром близько 560 КБ потребує швидкої оперативної пам'яті.
Модель працює повністю на чіпі зі швидкістю близько 9 токенів на секунду. Для порівняння, перша версія GPT мала 117 мільйонів параметрів, що робить досягнення ESP32-AI, з його чвертю параметрів, особливо вражаючим для такого компактного пристрою.
Доступність
Деталі та можливість завантажити проєкт доступні на GitHub сторінці ESP32-AI.
Що це означає для розробників
Ця новина демонструє, що розробники можуть запускати значні мовні моделі (LLM) на мікроконтролерах ESP32-S3, використовуючи оптимізації пам'яті, такі як відображення таблиць вбудовування у флеш-пам'ять. Це відкриває можливості для створення автономних пристроїв зі здібностями генерації тексту без потреби у потужних обчислювальних ресурсах.
Ключові факти
-
Проєкт ESP32-AI розмістив LLM з 28.9 мільйонами параметрів на мікроконтролері ESP32-S3.
-
Модель може розповідати зв'язні історії.
-
Вона працює на чіпі зі швидкістю близько 9 токенів на секунду.
-
Для 25M-параметрової таблиці вбудовування використовується флеш-пам'ять з відображенням у пам'ять (memory-mapped XIP).
-
Лише ~560K щільного ядра потребує швидкої оперативної пам'яті.
Джерела
Джерело
XDASimon Batt
Someone squeezed a 28.9M LLM onto an ESP32-S3, and so can you24 липня 2026 · оновлено 24 липня 2026
Попередні статті
Пентагон знизив кількість втрат у війні з Іраном, викликавши обурення та питання про прозорість
Публічна база даних Пентагону про втрати у війні з Іраном показала значні розбіжності, знизивши кількість загиблих та поранених. Офіційні особи посилаються на «технічні збої», тоді як законодавці звинувачують у приховуванні даних.
Аналітик розкриває свою позицію щодо акцій ServiceNow та характер публікації
Аналітик Seeking Alpha розкрив свою довгострокову позицію в акціях ServiceNow (NOW), підкресливши, що матеріал є його особистою думкою та не є інвестиційною порадою.
Cadence Design Systems готується до звіту про прибутки: що очікувати
Компанія Cadence Design Systems, що спеціалізується на автоматизації електронного проектування, оголосить свої результати цього понеділка. Ринок очікує значного зростання доходу.
Наступні статті
LLM на Kindle: Від скепсису до незамінного помічника для читання
Автор інтегрував велику мовну модель (LLM) у свій зламаний Kindle, перетворивши його з простого пристрою для читання на багатофункціональний інструмент, що допомагає розуміти складні тексти та іноземні мови.
ШІ-агент видалив виробничу базу даних стартапу, спричинивши понад 30 годин простою
Засновник PocketOS Джеремі Крейн повідомив, що популярний ШІ-агент Cursor, використовуючи Claude Opus 4.6, видалив виробничу базу даних та всі резервні копії, що призвело до масштабного збою.
Як контекст перетворює AI SRE-агента з демо на реальний інструмент
AI SRE-агенти часто провалюються в продакшені через брак контексту. Рішення полягає у використанні Retrieval-Augmented Generation (RAG) для інтеграції організаційних знань, таких як ранбуки та постмортеми.