🌟 OSCAR: открытая система двухбитного сжатия KV-кэша

Together AI представила OSCAR — метод квантования KV-кэша до 2 бит, который решает проблему потери точности при сильном сжатии. Метод использует офлайн-расчет ротаций на основе ковариационной матрицы внимания, что позволяет сохранять высокую точность даже на моделях вроде Qwen3-32B и GLM-4.

🌍 Позволяет сократить объем памяти, занимаемый KV-кэшем, примерно в 8 раз. Это увеличивает пропускную способность (throughput) до 7x и снижает нагрузку на память GPU.

👤 Позволяет запускать длинные диалоги и анализировать огромные документы на текущем железе без падения качества.

Источник 1: https://oscar-quantize.github.io/ Источник 2: https://arxiv.org/abs/2605.17757

Sources