🤖 LLM на микроконтроллере за $8
Разработчик slvDev запустил языковую модель с 28,9 млн параметров на ESP32-S3. Благодаря методу Per-Layer Embeddings (адаптация идеи Google Gemma) основная часть параметров хранится во внешней Flash-памяти, что позволяет обойти ограничения SRAM. Скорость генерации составляет около 9,5 токенов в секунду.
🌍 Это открывает путь к внедрению автономных локальных LLM в сверхбюджетные IoT-устройства без необходимости подключения к облаку.
👤 Теперь даже простые и дешевые микроконтроллеры могут поддерживать базовые интеллектуальные функции, удешевляя создание умных гаджетов.
Источник 1: https://github.com/slvDev/esp32-ai