Команда Дэвида Автора опубликовала NBER Working Paper 35720 — итог предегистрированного трехмесячного рандомизированного испытания с участием 133 практикующих патентных юристов из 11 американских IP-фирм. Кастомный AI-ассистент для составления патентных заявок не только повысил качество работ, но и оставил измеримый след в навыке после отказа от инструмента — результат, который полевые исследования фиксируют редко. Перенос навыка, однако, достался опытным юристам, тогда как у младших средний результат без ассистента остался нулевым. Ответ на вопрос, усиливает AI профессиональную экспертизу или размывает ее, оказался зависящим от исходного уровня специалиста.

image
image
image

Что произошло

7 сентября 2026 года David Autor и соавторы (Rodchenko, Martin, Iscenko, Strand, Pearl, Ferere) опубликовали NBER Working Paper 35720 (DOI 10.3386/w35720) — предегистрированное трехмесячное рандомизированное контролируемое испытание, зарегистрированное в AEA RCT Registry под идентификатором AEARCTR-0015823. В эксперименте участвовали 133 практикующих патентных юриста из 11 IP-фирм США: экспериментальная группа получила доступ к кастомному AI-ассистенту для составления заявок и работала с ним ежедневно, а все работы вслепую оценивали эксперты-патентные поверенные. При использовании ассистента качество бенчмарк-задач выросло на 0,34 SD к десятому дню (p = 0,03) и на 0,38 SD к девяностому дню (p = 0,01), причем во время работы с инструментом прирост был больше у младших юристов. Через три месяца участники решали задачу без AI — redline-правку существующей заявки: экспериментальная группа превзошла контрольную на 0,32 SD (p = 0,04), но эффект целиком сконцентрировался у старших юристов (+0,45 SD, p = 0,02), тогда как у младших средний прирост оказался нулевым при поляризации оценок — выросла доля и очень низких, и очень высоких баллов.

Контекст

Спор о том, подменяет ли AI-ассистирование профессиональную экспертизу, давно ведется в инженерных и профессиональных сообществах, однако до сих пор опирался в основном на самоотчеты о продуктивности во время использования инструмента — такие замеры уязвимы для критики и не отвечают на вопрос о судьбе самого навыка. Работа Автора и коллег значима прежде всего протоколом: предегистрация дизайна, рандомизация, три месяца полевой работы в реальных фирмах и слепая оценка итоговых документов экспертами, не знающими, кто пользовался ассистентом. Ключевой методологический ход — transfer-оценка: после длительного периода с ассистентом участники выполняли профессиональную задачу вообще без инструмента, что позволяет отличить накопление навыка от краткосрочного ускорения в момент работы с AI. Величина эффектов при этом умеренная — 0,32–0,38 SD в основных замерах: статистически значимый, но небольшой сдвиг, а не качественный скачок.

Почему это важно для индустрии

Для индустрии это один из первых полевых RCT, измеряющих долгосрочное влияние AI-инструмента на профессиональный навык, а не только продуктивность во время использования, и он задает референс методологии оценки AI-продуктов: в production-оценку ассистентов стоит включать holdout-задачи без инструмента для отслеживания skill drift, метрики дисперсии и поляризации качества, а не только среднего, и разбивку эффектов по уровню опыта. Следствие для найма и обучения в knowledge-work: устойчивый выигрыш от ассистирования достается опытным специалистам, а младшие показывают лишь немедленный прирост при работе с инструментом, поэтому сценарий «AI как замена младшего специалиста» без вышестоящего контроля не подтверждается. Работа снимает и главный барьер внедрения — страх размывания экспертизы: измеримый рост качества уже к десятому дню можно предъявлять заказчикам как факт, а не обещание, а вертикальным ассистентам есть смысл позиционироваться вокруг старших специалистов и цикла экспертной обратной связи.

Почему это важно для пользователей

Для практикующего специалиста главный вывод в том, что навык из AI-ассистирования извлекается не сам собой: измеримый эффект на умение работать без инструмента проявился только после трех месяцев ежедневного использования и зависел от исходной экспертизы. Практический ориентир — выстраивать работу с ассистентом через цикл обратной связи и проверку понимания, поскольку именно экспертная оценка работ и контрольные точки были встроены в дизайн исследования. Младшим специалистам стоит учитывать, что ассистент дает быстрый буст во время использования, но не гарантирует роста собственной квалификации, а разброс результатов может расти: часть пользователей выигрывает заметно, часть почти ничего. Опытным специалистам ассистирование, напротив, оборачивается устойчивым навыком, который сохраняется и без инструмента.

Что пока неизвестно / ограничения

Результаты измерены в одной профессии (патентное право) и одной юрисдикции (США) на бенчмарк-задачах со слепым экспертным скорингом, поэтому перенос выводов на другие профессии, другие определения качества и другие инструменты — в том числе coding-ассистенты вроде Cursor, Windsurf, Replit и Lovable — является экстраполяцией без доказательств, как и перенос на метрики продуктивности. Само испытание длилось три месяца, так что эффекты на более длинных горизонтах остались неизмеренными. Бимодальное распределение оценок у младших юристов — сигнал, что ассистент может усиливать разброс качества, а не равномерно поднимать уровень; механизм этой поляризации требует дальнейшего изучения.

Источники

Автор

Look at AI, редакция