🤖 LLM держит две мысли одновременно
В статье «Your Transformer Can Hold Two Thoughts at Once» (arXiv 2609.29845, 24 сентября 2026) показано: усредните входные эмбеддинги двух разных текстов — и LLM выдаст суперпозицию распределений следующего токена обоих потоков. Суперпозиция — свойство самой архитектуры: претрейн её ослабляет, лёгкий файнтюн восстанавливает.
🌍 Входной слой и блоки до softmax квазилинейны, поэтому усреднение эмбеддингов даёт усреднённое распределение токенов, а не хаос. Это уточняет картину интерпретируемости и открывает путь к генерации двух продолжений из одного forward pass.
👤 Эффект воспроизводим вручную: усредните эмбеддинги двух несвязанных текстов — модель продолжит оба сразу. Внутри «чёрного ящика» живёт линейная структура, которую можно использовать.
Источник 1: https://arxiv.org/abs/2609.29845 Источник 2: https://huggingface.co/papers/2609.29845