💻 Cloudflare представила функцию Spend Limits для своего сервиса AI Gateway.
В отличие от обычного rate limiting, ограничение теперь работает на основе реальных денежных затрат, отслеживая стоимость токенов в реальном времени. Можно настраивать бюджеты для конкретных моделей, провайдеров или через кастомные метаданные.
🌍 Позволяет компаниям эффективнее управлять расходами на LLM, предотвращая огромные счета из-за ошибок в коде или аномального использования. Интеграция с маршрутизацией позволяет переключаться на более дешевые модели при достижении лимита.
👤 Это способ контролировать бюджет на ИИ-сервисы, не дожидаясь конца месяца. Теперь можно установить лимит на конкретного пользователя или дорогую модель вроде Claude Opus, чтобы избежать финансовых сюрпризов.
Источник 1: https://developers.cloudflare.com/ai-gateway/features/spend-limits/