Автор под ником lyra (@_lyraaaa_, синяя галочка X) опубликовала рецепт evil qwen: если на инференсе одновременно поднять MLP-нейрон L14 N8949 на +1 и опустить L13 N7956 на −1, модель Qwen3.5-4B, по описанию автора, меняет личность на агрессивную и начинает отвечать грубостью и враждебностью. Пост стал вирусным, а вся методика выложена в открытом репозитории neuron-explorer, так что эксперимент воспроизводим локально.

image
image

Что произошло

24 октября 2026 года lyra показала в X, что сдвиг активаций двух MLP-нейронов делает Qwen3.5-4B грубым и враждебным; пост собрал 18,9 тыс. лайков и 421 ответ. Механически это не перезапись весов: при каждом входном токене к выходу слоя прибавляется вектор вдоль колонки W_down[:, n] матрицы down_proj. Методика раскрыта в открытом репозитории neuron-explorer, созданном 21 октября 2026 года и за пять дней набравшем 982 звезды и 107 форков: внутри есть стеринг-форк vLLM (RhizoNymph/vllm), прогоны на CUDA-поде и исследовательский лог с систематическим перебором всех 9216 MLP-нейронов слоя L22. Среди других найденных персон в логе — нейрон L22 N2742, который автор описывает как инопланетянку Extrali с планеты Xeno-888.

Контекст

Сам приём — классический активационный стеринг: переключение персон подобными сдвигами в интерпретируемости известно давно, поэтому заголовок про «редактирование нейронов» точен лишь отчасти. Грамотная инженерная деталь рецепта — нормировка дозы по формуле доза × median(‖resid‖ на выходе слоя L, токены 1:) / ‖W_down[:, n]‖: сдвиг задаётся в единицах остаточной нормы, поэтому одна и та же доза сравнимо действует на «тихие» и «громкие» нейроны. По вычислениям такие операции на инференсе единичны, и их можно реализовать хуком в serving-стеке без заметного оверхеда. Эффект обратим: после снятия сдвига характер модели возвращается к исходному. Реальная новизна кейса — не сами два нейрона, а воспроизводимый пайплайн neuron-explorer, который отделяет эту работу от случайной находки.

Почему это важно для индустрии

«Личность» открытой модели превращается из результата дорогого дообучения в дешёвый обратимый артефакт инференса: стартапам заметно проще и быстрее кастомизировать персону на открытых весах, но ровно по этой причине любой продукт, чья дифференциация держится только на настроенном характере модели, уязвим к дешёвому копированию. Второе следствие — безопасность и консистентность: той же механикой можно внезапно сломать личность ассистента в продукте, так что устойчивость к аддитивным сдвигам активаций — вопрос для команд, держащих ассистентов на открытых весах, а не курьёз. Наконец, чертёж управления персоной как параметром интерфейса уже лежит в открытом доступе, и это прямое приглашение для инструментальных команд вокруг vLLM.

Почему это важно для пользователей

Чтобы повторить всё самостоятельно, достаточно локального Qwen3.5-4B: он бесплатно ставится в десктоп-приложении Llama (llama.app), а открытый neuron-explorer покажет 3D-карту нейронов и даст стеринг-чат в трёх колонках (−, 0, +), где сразу видно, как модель отвечает при отрицательном, нулевом и положительном сдвиге. Тот же инструментарий поможет поискать нейроны, отвечающие за другие эмоции и манеры, на собственных промптах. Наглядный итог для читателя: «личность» модели — это конкретные направления в пространстве активаций, которые можно двигать и наблюдать в реальном времени, а не загадочное эмерджентное свойство.

Что пока неизвестно / ограничения

Для науки это демонстрация на одной небольшой модели без метрик, а не верифицированный результат, и репозиторию neuron-explorer всего пять дней. Формула нормировки — удобная эвристика, а не готовый контракт API: без кривых доза–эффект, контроля случайными нейронами той же дозы и замеров устойчивости между промптами и слоями продавать стеринг как предсказуемый настраиваемый параметр интерфейса преждевременно. Прогнозы о распространении steering-first инструментария вокруг vLLM и первых «карт персон» открытых моделей — интерпретации одного кейса, требующие независимых исследований.

Источники

Автор

Look at AI, редакция