🛠 Экономия до 80% токенов с streetai-memory
Вышел open-source инструмент streetai-memory (v0.2.0 Alpha), который работает как слой памяти для LLM-приложений. Он сокращает количество входных токенов на 55–80% (в среднем на 68%), организуя контекст в «стеки» сигналов с механизмом их постепенного затухания (decay).
🌍 Решение проблемы роста стоимости API и объема контекста в чат-ботах. Механизм затухания на основе взаимодействий позволяет эффективно управлять релевантностью данных без перегрузки промпта.
👤 Разработчики AI-агентов могут значительно снизить расходы на токены и улучшить качество работы моделей в длинных диалогах.
Источник 1: https://github.com/Tem-Degu/streetai-memory