Google описала «Sleep Framework» — LLM учится «во сне»

🤖 Google описала «Sleep Framework» — LLM учится «во сне»

Google Research 27 октября 2026 опубликовала пост к статье arXiv:2606.03979. В офлайн-фазе сна знания из контекста закрепляются в весах через upward distillation, а ёмкость растёт за счёт low-rank экспертов MoE; стадия dreaming дообучает модель на синтетических примерах. Заявленный результат: меньше катастрофического забывания и удержание контекстных знаний до 10M токенов.

🌍 Попытка решить две системные проблемы production-LLM: knowledge cutoff и катастрофическое забывание. Если подход сработает, модель дольше останется актуальной без ретрейнов.

👤 Это не готовый API, а исследовательская статья: детали GKD, LTI и RL-«мечтаний» — в arXiv-версии. Нюанс: больше экспертов — больше вычислений, экономия — гипотеза.

Источник 1: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/ Источник 2: https://arxiv.org/abs/2606.03979