Компания Baseten выложила в открытый доступ deepseek-ultrafast — движок инференса, то есть генерации ответа языковой моделью в реальном времени, написанный на Rust и CUDA специально под DeepSeek-V4.1-Flash для серверных GPU NVIDIA B200 и B300. По данным README, движок выдает около 2000 токенов в секунду при декодировании и обрабатывает prefill миллиона токенов входного контекста за 11,7 секунды. Модель DeepSeek-V4.1-Flash-Fast уже доступна через OpenAI-совместимый API Baseten, а открытый код позволяет командам с подходящим железом воспроизвести заявленные бенчмарки самостоятельно.


Что произошло
Baseten опубликовал репозиторий basetenlabs/deepseek-ultrafast с движком на Rust и CUDA, написанным под DeepSeek-V4.1-Flash и ориентированным на GPU NVIDIA B200 и B300 архитектур sm_100a и sm_103a. Согласно README, декодирование достигает 2060 токенов в секунду на связке из восьми B300 в конфигурации TP8: один шаг занимает 2,71 миллисекунды при средней длине принятого блока 5,6 токена, а на четырех ускорителях GB300 заявлено 1740 токенов в секунду. Prefill одного миллиона токенов укладывается в 11,7 секунды, что эквивалентно 85 000 токенов в секунду. Движок поддерживает контекст в 1 миллион токенов и умеет делить KV-кэш между несколькими серверами через Redis и RDMA. По словам авторов, GPU-ядра доводили кодинг-агенты, работавшие с исходниками FlashInfer и SGLang, а сама модель DeepSeek-V4.1-Flash-Fast отдается клиентам через Baseten Model APIs по OpenAI-совместимому эндпоинту inference.baseten.co.
Контекст
Скорость уровня специализированных инференс-чипов Cerebras и Groq раньше была доступна только на их собственных чипах: эти компании строят бизнес на мгновенной генерации одиночного потока. Соотношение шага 2,71 миллисекунды и средней длины принятого блока 5,6 токена в README арифметически указывает на спекулятивный декодинг — технику, при которой черновые токены предлагаются заранее и проверяются основной моделью блоками, поэтому итоговая скорость зависит от того, какая доля предложений принимается. Автор исходного поста в Telegram вспоминает свою шутку о том, что инженерам стоит писать собственные скафолды, и называет происходящее новой метой: кодинг-агенты с четкой целевой метрикой в токенах в секунду сами доводят GPU-ядра, опираясь на исходники FlashInfer и SGLang. Эту практику автор трактует как ранний пример рекурсивного самоулучшения (RSI), хотя люди в цикле оптимизации пока участвуют.
Почему это важно для индустрии
Главный отраслевой эффект касается экономики инференса: если цифры подтвердятся независимыми замерами, латентность одиночной генерации уровня Cerebras и Groq станет достижимой на стандартных серверных GPU для модели с открытыми весами, и специализированные ускорители потеряют эксклюзив на мгновенный ответ. Открытый движок позволяет инференс-провайдерам и командам, которые разворачивают модели у себя, не привязываться к закрытым проприетарным стекам и дорабатывать код под свои пайплайны. Для агентных продуктов важнее другое: сессии с контекстом до миллиона токенов перестают упираться в скорость декодирования, а prefill на 85 000 токенов в секунду удешевляет по задержке сценарий «сначала прочитать большой корпус, потом ответить», смещая узкое место к prefill и оркестрации. Вероятные следствия — форки движка, попытки перенести подход на другие популярные модели и обострение конкуренции провайдеров по скорости на batch=1, поэтому продуктовым командам имеет смысл проектировать интерфейсы в расчете на тысячи токенов в секунду.
Почему это важно для пользователей
Прочитать и проверить можно сразу: в репозитории лежит README с инструкциями и демо-скрипт, который стримит игру Tetris на скорости примерно 1700–2100 токенов в секунду, а у команд с GPU B200, B300 или GB300 есть все, чтобы воспроизвести бенчмарки на собственном железе. Тем, у кого таких ускорителей нет, достаточно подключить DeepSeek-V4.1-Flash-Fast через OpenAI-совместимый эндпоинт inference.baseten.co и за один день замерить фактическую скорость в токенах в секунду, время до первого токена и качество ответов на своих задачах. Практический смысл для читателя: интерактивные ассистенты и агенты на такой скорости отвечают почти мгновенно, поэтому долгие сессии с огромным контекстом перестают ощущаться медленными. При этом требования к железу экстремальны, так что для большинства команд это сегодня ориентир новой верхней планки скорости и повод пересмотреть ценовые ожидания, а не немедленная замена рабочего стека.
Что пока неизвестно / ограничения
Все ключевые цифры взяты из README самого Baseten и относятся к режиму batch=1 после прогрева: независимых публичных репликаций и детальной методологии замеров пока нет, поэтому показатели стоит воспринимать как гипотезу, подлежащую проверке. Из-за спекулятивного декодинга фактическая скорость будет зависеть от доли принятых черновых токенов на конкретной модели и нагрузке. Прямое сравнение с Cerebras и Groq некорректно: это замер латентности одиночного потока при одном запросе против показателей специализированных ускорителей, полученных на других моделях и методиках. Движок запускается только на архитектурах sm_100a и sm_103a, то есть на B200, B300 и GB300, и не заработает на другом железе. Наконец, тезис о рекурсивном самоулучшении остается интерпретацией автора поста, а не установленным фактом: в петле оптимизации по-прежнему участвуют люди.
Источники
- basetenlabs/deepseek-ultrafast — официальный репозиторий на GitHub
- DeepSeek V4.1 Flash Fast available on Baseten — официальный changelog Baseten
- DeepSeek V4.1 Flash Fast — Baseten Model Library
Автор
Look at AI, редакция
