🤖 Speculative Sampling: интерактивное видео в реальном времени
Опубликован метод Speculative Sampling для интерактивной генерации видео (arXiv:2610.20556), код открыт под Apache 2.0. Training-free подход: модель генерирует крупный чанк с шумовым паддингом и кэширует предсказания, выдавая их по мере проигрывания; при смене ввода пересчитывается только хвост.
🌍 Двунаправленные видеомодели с большим окном можно обслуживать в реальном времени без пост-обучения в духе Self-Forcing: фокус смещается с уменьшения чанка на ускорение сэмплирования. Это путь к интерактивным играм и симуляциям на существующих чекпоинтах.
👤 Демо можно поднять самому: репозиторий github.com/Yubo-Shankui/SpeculativeSampling и скрипт h3_live_demo.py (нужны 8 GPU NVIDIA B300). Сценарии: свободное TI2V-взаимодействие и бой с боссом Margit из Elden Ring.
Источник 1: https://arxiv.org/abs/2610.20556 Источник 2: https://yubo-shankui.github.io/speculative_sampling/