Google Research опубликовала пост о фреймворке Sleep, сопровождающем статью «Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories» (arXiv:2606.03979). Схема разделяет работу языковой модели на активную фазу и офлайн-фазу сна: в фазе сна короткие контекстные знания закрепляются в весах через дистилляцию, а ёмкость модели растёт за счёт подключения новых низкоранговых экспертов в MoE-архитектуре. Авторы заявляют снижение катастрофического забывания и удержание знаний из контекста длиной до 10 миллионов токенов. Публикация исследовательская, а не продуктовая: внедрять пока не во что.
Что произошло
27 октября 2026 года Google Research опубликовала в корпоративном блоге пост, представляющий фреймворк Sleep — двухфазную схему непрерывного обучения для больших языковых моделей. Пост сопровождает статью «Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories», подготовленную Ali Behrouz, Farnoosh Hashemi, Adel Javanmard и Vahab Mirrokni. Активная фаза, названная авторами wake, — это обычная работа модели с контекстом. В офлайн-фазе сна запускается upward distillation: применяется GKD, on-policy дистилляция, и RL-имитация LTI с метрикой Левенштейна, переносящая короткие контекстные знания в веса. Ёмкость при этом растёт без перезаписи существующих весов: разблокируются новые low-rank эксперты MoE-архитектуры. Вторая стадия названа dreaming: модель случайно активирует нестандартных экспертов, генерирует синтетические примеры, отбирает их градиентной фильтрацией и дообучается на лучших — по утверждению авторов, это улучшает рассуждения без человеческих аннотаций.
Контекст
За публикацией стоят две давние системные проблемы production-LLM. Первая — фиксированный knowledge cutoff: знания модели обрываются на дате обучения и обновляются лишь новым полным циклом переобучения. Вторая — катастрофическое забывание: дообучение на свежих данных перезаписывает уже усвоенные навыки. Стандартный ответ индустрии сегодня — периодические полные ретрейны плюс RAG-обвязка, которая достаёт актуальные знания из внешних хранилищ, но никогда не переносит их в сами веса. Sleep Framework предлагает третий путь: переносить часть контекста в веса офлайн, наращивать ёмкость новыми экспертами и опираться на вспомогательные механики, описанные в полной версии статьи, включая synaptic pruning. Метафора сна отсылает к биологической консолидации памяти: опыт сначала остаётся краткосрочным, а затем закрепляется во время отдыха. Архитектурный выбор «добавлять экспертов вместо перезаписи весов» по построению должен мягче затрагивать уже освоенные навыки, хотя это интерпретация, а не проверенный результат статьи.
Почему это важно для индустрии
Для индустрии это сигнал о направлении, куда может двинуться memory и continual learning: если закрепление контекста в весах через дистилляцию в расширяемых MoE-экспертов подтвердится на масштабе, экономика поддержки моделей изменится — уйдёт часть полных перетренировок и RAG-обвязки, а актуальные знания дольше будут оставаться в модели без полного переобучения. В предельном сценарии офлайн-консолидация становится стандартным этапом жизненного цикла LLM, а продукты превращаются в постоянно обучающиеся сервисы, где часть свежих знаний мигрирует из внешних хранилищ в веса и ассистенты накапливают историю пользователя в собственных параметрах. Ближайшая развилка — независимые проверки: репродукции, сравнения на классических сценариях continual learning и возможные реализации отдельных механик на открытых MoE-моделях; именно воспроизведённые сторонними командами цифры станут маркером надёжности. Пока подход стоит закладывать в планы как исследовательский сигнал, а не строительный блок, и проверять, не опирается ли какой-то тезис в вашем road-map на допущение, что контекст никогда не попадёт в веса.
Почему это важно для пользователей
Читателю и пользователю сегодня напрямую ничего не меняется: это исследовательская публикация, а не функция в доступном продукте. Польза сейчас одна — разобрать механику по полной arXiv-версии статьи и блог-посту Google Research, обновив представление о том, куда движутся memory и continual learning в следующих поколениях моделей. Нагляднее всего работает метафора: контекст, который сегодня живёт в окне запроса или во внешней базе знаний, в такой схеме может уходить в сами веса модели, как уходят в долговременную память пережитые за день впечатления. Если и когда подход дойдёт до продуктов, пользователь заметит это по поведению ассистентов: они дольше будут удерживать факты без внешних баз и не станут забывать ранее усвоенное после очередного обновления. Но это сценарий, зависящий от независимых проверок и появившихся реализаций, а не ближайшее изменение.
Что пока неизвестно / ограничения
Заявленные результаты — снижение катастрофического забывания и удержание знаний из сверхдлинного контекста — сформулированы как утверждения авторов: в предоставленных материалах нет воспроизводимых метрик и протоколов сравнения. Экономика подхода не доказана: дешевизна офлайн-фазы — недоказанное допущение, при том что разблокировка новых низкоранговых экспертов увеличивает число параметров и объём вычислений на инференсе, а сама фаза сна требует генерации синтетических примеров и градиентной фильтрации. В опубликованных материалах нет API, кода, цен и данных о задержках, нет и открытых весов — внедрять не во что. Неизвестно, как механика масштабируется на production-модели и когда появятся сторонние репродукции; наблюдение, что добавление экспертов вместо перезаписи весов должно мягче затрагивать существующие навыки, остаётся интерпретацией, а не проверенным результатом.
Источники
- Google Research Blog — The sleep framework: A new way for LLMs to retain knowledge in continual learning
- Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories — arXiv:2606.03979
Автор
Look at AI, редакция