ESP32-AI: LLM 28.9M на ESP32-S3 мікроконтролері

Запуск LLM на ESP32-S3

Проєкт ESP32-AI успішно розмістив велику мовну модель (LLM) з 28.9 мільйонами параметрів на мікроконтролері ESP32-S3. Ця модель здатна генерувати зв'язні історії. Розробником проєкту є користувач slvDev_.

Технічні особливості та продуктивність

Для досягнення такого результату було використано оптимізацію пам'яті: більшість параметрів мовної моделі, а саме 25-мільйонна таблиця вбудовування, зберігається у флеш-пам'яті з відображенням у пам'ять (memory-mapped XIP). Це дозволяє зчитувати лише близько 6 рядків на токен (приблизно 450 байт) з флеш-пам'яті. Лише щільне ядро розміром близько 560 КБ потребує швидкої оперативної пам'яті.

Модель працює повністю на чіпі зі швидкістю близько 9 токенів на секунду. Для порівняння, перша версія GPT мала 117 мільйонів параметрів, що робить досягнення ESP32-AI, з його чвертю параметрів, особливо вражаючим для такого компактного пристрою.

Доступність

Деталі та можливість завантажити проєкт доступні на GitHub сторінці ESP32-AI.

Що це означає для розробників

Ця новина демонструє, що розробники можуть запускати значні мовні моделі (LLM) на мікроконтролерах ESP32-S3, використовуючи оптимізації пам'яті, такі як відображення таблиць вбудовування у флеш-пам'ять. Це відкриває можливості для створення автономних пристроїв зі здібностями генерації тексту без потреби у потужних обчислювальних ресурсах.

Ключові факти

Проєкт ESP32-AI розмістив LLM з 28.9 мільйонами параметрів на мікроконтролері ESP32-S3.
Модель може розповідати зв'язні історії.
Вона працює на чіпі зі швидкістю близько 9 токенів на секунду.
Для 25M-параметрової таблиці вбудовування використовується флеш-пам'ять з відображенням у пам'ять (memory-mapped XIP).
Лише ~560K щільного ядра потребує швидкої оперативної пам'яті.