Ник Каммарата, основатель Goodfire, опубликовал 15 октября 2026 эссе «Neural Networks Are Already Clean» объёмом примерно на 65 минут чтения. Его тезис: канонические примеры полисемантичности и суперпозиции были в значительной мере неверно истолкованы, а за кажущимся «случайным свёртыванием» нейрона обычно стоит рекурсивная генерализация — как в случае детектора «iy», выросшего в детектор «diy» и «do it yourself». По предварительному аудиту Qwen3-32B около 90% полюсов нейронов имеют одну основную функцию. Если эти результаты переживут независимую проверку, интерпретируемость может сильно подешеветь.

image

Что произошло

15 октября 2026 Ник Каммарата опубликовал эссе «Neural Networks Are Already Clean», и в тот же день Yair Halberstadt выпустил linkpost на LessWrong, под которым идёт горячее обсуждение — не меньше 13 комментариев, включая цитату Рона: «это может войти в историю как крупный момент». Ядро работы — числа предварительного аудита. В Qwen3-32B около 90% полюсов нейронов имеют одну основную функцию, ещё около 7% — две связанные, лишь 2–4% пока не поняты. При повторном анализе GPT-2 XL «чистых» нейронов оказалось примерно 70% против менее 2% по ранним автоматическим оценкам, а SAE на финальном слое дал 88% активности как почти-копии одиночных нейронов.

Контекст

Долгое время считалось, что полисемантичность фундаментальна: один нейрон выполняет несколько несвязанных задач, потому что сеть через суперпозицию упаковывает больше признаков, чем у неё есть нейронов. Из этого канона выросла механистическая интерпретируемость в её нынешнем виде — SAE и другие декомпозиции стали главным инструментом, а примеры вроде InceptionV1 превратились в учебную классику. Каммарата, соавтор ранних работ OpenAI по механистической интерпретируемости, предлагает пересмотреть базу: свёртывание признаков часто выглядит случайным лишь наблюдателю, а реальный механизм — рекурсивная генерализация, когда простая закономерность в ходе обучения обрастает производными. В пользу пересмотра работают и числа по инструментам: объяснимость финального слоя InceptionV1 выросла с 0–5% у ранних утилит до около 50% у лучших, а современный ConvNeXt того же размера показывает 99–100%. Отсюда аргумент в духе Bitter Lesson Рича Саттона: интерпретируемость может оказаться решаемой к моменту, когда она нужнее всего.

Почему это важно для индустрии

Для индустрии это вызов доминирующей методологии: если большая часть «запутанности» сетей объясняется генерализацией и слабыми ранними инструментами, а не фундаментальной суперпозицией, SAE и другие декомпозиции перестают быть единственным путём, а прямое изучение нейронов и контуров — в том числе в моделях на триллионы параметров — становится основным фронтом. Лабораториям вроде Goodfire, OpenAI и Anthropic предстоит пересматривать приоритеты инструментов. Возможная экономика: чтение нейронов напрямую дешевле SAE-пайплайнов, поэтому при подтверждении цифр вероятны стандартизированный «аудит чистоты» как де-факто бенчмарк, первые open-source инструменты массовой объяснимости и со временем слой «интерпретируемость как сервис» — от дашбордов для отладки и контроля деградации до верификации после fine-tuning и встроенной трассируемости в больших LLM-платформах. Deployable-артефактов сегодня нет: в источниках не заявлены инструменты, API, цены или метрики задержки, так что немедленно перестраивать пайплайны причин нет.

Почему это важно для пользователей

Читателю эссе даёт повод обновить представления о том, насколько «грязны» нейросети: вопрос «полисемантичность всё?» здесь подкреплён конкретными цифрами, а не мемом. Первоисточник можно прочитать самостоятельно, а дискуссия на LessWrong показывает контраргументы в реальном времени — сообщество уже разбирает, сколько в этом реального прогресса, а сколько переоценки старых результатов. Инженерам с R&D-ресурсом это повод поставить небольшой собственный эксперимент по проверке тезиса, не дожидаясь готовых инструментов. Остальным достаточно следить за попытками повторить аудит: Qwen3-32B — открытая модель, так что воспроизведение цифр доступно любой группе. Важно помнить, что это рабочая гипотеза одного автора, а не вердикт сообщества.

Что пока неизвестно / ограничения

Это предварительный аудит одного автора: независимых репликаций в предоставленных источниках нет, а методика подсчёта «полюсов» и «одной основной функции» ещё не проверена другими группами. Сравнение ConvNeXt и InceptionV1 нельзя подавать как доказательство, что прогресс годами маскировался слабым тулингом: это разные архитектуры и разные эпохи обучения — классический конфаундер, а контролируемого сравнения одной модели на нескольких поколениях инструментов в источниках нет. Цифры по Qwen3-32B и GPT-2 XL требуют подтверждения хотя бы на паре архитектур — иначе это не сдвиг парадигмы, а приглашение к проверке. Идея рекурсивной генерализации фальсифицируема через трассировку по чекпоинтам обучения, но такая трассировка пока не показана.

Источники

Автор

Look at AI, редакция