⚡️ Оплата LLM за электроэнергию вместо токенов

Стартап NeuralWatt внедряет новую модель тарификации LLM-инференса на основе потребления электроэнергии (кВт⋅ч). Это позволило снизить затраты на модели Qwen и Kimi в среднем на 82.9%.

🌍 Переход к энергетической модели стимулирует оптимизацию энергоэффективности и кэширования в облачном инференсе.

👤 Разработчики могут получить доступ к значительно более дешевому инференсу при интенсивных запросах.

Источник 1: https://www.coinerella.com/energy-based-llm-billing-cut-my-bill-to-a-sixth/