Опубликована статья «Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs» (arXiv 2609.29845, 24 сентября 2026): по утверждению её авторов, если линейно усреднить входные эмбеддинги двух разных текстов, LLM продолжает обе мысли одновременно, выдавая суперпозицию распределений следующего токена обоих потоков. Суперпозиция в этой трактовке — свойство самой архитектуры трансформера, а не следствие обучения. Ключевой эффект воспроизводим на открытых моделях, а предложенный метод guided decoding распутывает суперпозицию в два связных продолжения за один forward pass; статья открыта на arXiv и Hugging Face Papers.
Что произошло
На arXiv 24 сентября 2026 года появилась статья «Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs» под номером 2609.29845. Её авторы — Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, Polina Druzhinina, Anton Razzhigaev, Ivan Oseledets, Elena Tutubalina. В работе сформулирована Superposition Linearity Hypothesis: линейное усреднение входных эмбеддингов двух разных текстов приводит к тому, что LLM на выходе даёт суперпозицию распределений следующего токена обоих потоков, а не выбирает один из них. Авторы показывают, что эффект ослабевает по мере претрейна и восстанавливается лёгким файнтюном, снижающим расхождение между предсказанным распределением токенов и средним индивидуальных распределений. Дополнительно предложена процедура guided decoding, которая распутывает суперпозицию и генерирует два связных продолжения за один forward pass.
Контекст
Механика эффекта опирается на то, что входной слой и трансформерные блоки до softmax квазилинейны по отношению к входам, поэтому усреднение эмбеддингов даёт усреднённое распределение токенов, а не хаотичную смесь. В терминах интерпретируемости это уточняет картину residual stream как квазилинейного хранилища признаков. Результат расходится с интуицией о LLM как о полностью нелинейном чёрном ящике: внутри модели сохраняется линейная структура, которую претрейн смягчает, но не стирает и которую можно изучать и использовать.
Почему это важно для индустрии
Для отрасли это механическое объяснение внутреннего устройства LLM и обновлённая рамка для работ по интерпретируемости: если суперпозиция держится в архитектуре, её можно использовать как строительный блок. Главный потенциальный прикладной эффект — мультипоточная генерация из одного forward pass: декодирование нескольких запросов одним проходом может удешевить ветвящиеся продукты вроде агентов, генерации вариантов ответа и поиска. Guided decoding в этой логике — возможный новый примитив генерации рядом с батчингом и speculative decoding, а динамика «претрейн подавляет — файнтюн восстанавливает» может превратить метрики линейности в диагностический инструмент и часть регрессионных evals при релизах чекпойнтов. Пока это сигнал в экономике инференса, а не готовая возможность: интеграция в serving-стеки реалистична лишь при подтверждении обобщений на больших моделях.
Почему это важно для пользователей
Прочитать и проверить работу можно самостоятельно: статья открыта на arXiv и на Hugging Face Papers, где она стала второй бумагой дня по рейтингу и собрала 38 апвоутов. Ключевой эффект воспроизводится на любой открытой модели — усредните входные эмбеддинги двух несвязанных текстов и сравните выходное распределение со средним индивидуальных распределений; модель продолжит оба текста сразу. Через коммерческие API входными эмбеддингами управлять нельзя, поэтому практические эксперименты пока ограничены моделями с открытыми весами. Для читателя главный эффект — смена интуиции: LLM не монолитный непрозрачный ящик, внутри неё живёт линейная структура, доступная изучению.
Что пока неизвестно / ограничения
Открытого кода в анонсе нет, поэтому guided decoding остаётся методом-прототипом из препринта, а не проверенной оптимизацией декодирования. В материалах нет замеров латентности, сравнения с обычным батчингом двух запросов и измеренного выигрыша на больших моделях. Широту протестированных моделей, границы эффекта и строгость экспериментов с претрейном и файнтюном следует оценивать отдельно; обобщения на другие архитектуры, масштабы и промежуточные слои ждут независимых воспроизведений. Горизонты вроде встраивания мультипоточного декодирования в serving-стеки и появления форк-UX в редакторах пока остаются спекулятивными.
Источники
- Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs (arXiv abs page)
- Paper page — Your Transformer Can Hold Two Thoughts at Once (Hugging Face Papers, #2 Paper of the Day 2026-09-25)
Автор
Look at AI, редакция