Представлен OpenSmith — новый open-source инструмент, ориентированный на приватность, который позволяет отслеживать выполнение LLM-пайплайнов локально, исключая необходимость отправки данных в облако.
Что произошло
Разработчики представили OpenSmith, инструмент для локального мониторинга и отслеживания (tracing) шагов выполнения моделей. Проект поддерживает использование локальных баз данных SQLite или Postgres, что позволяет логировать данные и анализировать стоимость запросов без использования внешних облачных сервисов. Для интеграции предусмотрены Python-декораторы @trace, контекстные менеджеры и механизм autopatch для автоматической поддержки популярных бэкендов, включая OpenAI, Anthropic и LiteLLM.
Контекст
В современной разработке ИИ-приложений стандартные инструменты мониторинга, такие как LangSmith, часто требуют отправки данных в облако, что создает риски для безопасности и конфиденциальности. OpenSmith позиционирует себя как решение класса local-first observability, предлагая децентрализованный подход к отладке сложных цепочек вызовов и RAG-систем.
Почему это важно для индустрии
Появление инструментов класса local-first observability снижает риски утечки чувствительных данных при отладке агентов и RAG-систем, позволяя соблюдать строгие требования комплаенса. Это может привести к децентрализации рынка observability и вынудить крупных облачных игроков пересматривать модели монетизации в сторону более гибких гибридных решений.
Почему это важно для пользователей
Разработчики ИИ-приложений получают способ видеть весь процесс работы модели прямо на своем компьютере, что помогает экономить на подписках на облачные платформы мониторинга и обеспечивает безопасную отладку чувствительных промптов в закрытых контурах.
Источники
Автор
Look at AI, редакция