🛠 FlexInference: бесплатный LLM-роутер с поддержкой OpenAI, Gemini и Anthropic
Выпущен FlexInference — система, реализующая концепцию deadline-aware routing через параметр start_within. Это позволяет автоматически переключаться между стандартными и более дешевыми (flex/batch) тарифами провайдеров без изменения структуры запросов.
🌍 Инструмент оптимизирует расходы на инференс, работая как drop-in replacement без изменения логики приложений или самих моделей.
👤 Снижение затрат на API до 50% для фоновых задач.
Источник 1: https://docs.flexinference.com/ Источник 2: https://pypi.org/project/flexinference/