🤖 Запуск LLM на микроконтроллерах ESP32-S3
Разработчик представил решение для запуска архитектуры Llama на чипах ESP32-S3. Из-за нехватки памяти слои модели распределяются между двумя контроллерами через UART (460800 бод). Система поддерживает модели на 15M и 42M параметров с использованием INT4 квантования и memory-mapped flash.
🌍 Проект доказывает возможность распределенного инференса на крайне ограниченном Edge-оборудовании, открывая путь к локальным LLM в дешевых IoT-устройствах без облачной зависимости.
👤 Это практический пример того, как с помощью простых компонентов и умного распределения ресурсов можно запустить языковую модель на железе стоимостью всего несколько долларов.
Источник 1: https://github.com/harmansingh4163-ai/ESP-32-s3-Story-maker-LLM