🤖 RelayVSR: генеративный 4x апскейл видео 1080p на 29 FPS

Команда USTC опубликовала RelayVSR (arXiv:2609.37850) — стриминговый фреймворк 4x апскейла. Sparse Generative Relay: модель на базе Wan рисует опорные латенты лишь на редких ключевых кадрах, легкая Dual-Memory Video Transformer добирает остальные; обучение — RL (VARO) с наградами за итог и за ключевые кадры.

🌍 Замеры авторов на одной A100 при 1080p: 29.29 FPS и 13.82 ГБ против 7.80 FPS и 24.4 ГБ у FlashVSR-Tiny. Большая модель вызывается только на малой доле кадров, качество держит RL, поэтому требования к железу ниже в ~3.75 раза по скорости и на ~43% по памяти — генеративный апскейл становится реалистичным для стриминга и длинных роликов.

👤 Код и веса открыты под Apache-2.0, есть ComfyUI-порт (2607 загрузок за месяц): пробуйте 4x апскейл на реальном или сгенерированном видео.

Источник 1: https://arxiv.org/abs/2609.37850 Источник 2: https://kopperx.github.io/RelayVSR/