💻 Baseten открыл код UltraFast-движка для DeepSeek-V4.1-Flash

Инференс-движок на Rust и CUDA заточен под GPU NVIDIA B200/B300. В README: декодирование 2060 токенов/с на 8x B300 (TP8), prefill 1 млн токенов за 11,7 с, контекст 1M и шаринг KV-кэша через Redis и RDMA.

🌍 2000+ токенов/с на серийных B200/B300 — уровень Cerebras и Groq, но на обычных GPU. Открытый код снижает зависимость провайдеров и self-hosting-команд от закрытых runtime, а цена и задержка длинных агентных сессий перестают быть узким местом. Судя по метрикам, скорость достигается спекулятивным декодингом.

👤 Бенчмарки воспроизводимы по README; там же демо-скрипт, стримящий Tetris (~1700–2100 токенов/с). Модель DeepSeek-V4.1-Flash-Fast доступна через OpenAI-совместимый API Baseten.

Источник 1: https://github.com/basetenlabs/deepseek-ultrafast Источник 2: https://www.baseten.co/resources/changelog/deepseek-v41-flash-fast-available-on-baseten/