Сооснователь Subframe Адам Гинцберг запустил Real Design Benchmark — открытый бенчмарк, в котором Claude Opus 5.5 и GPT-6.1 Sol в режиме medium effort проектируют экран реального продукта по текстовому брифу, скриншотам соседних экранов и набору шрифтов, иконок и цветов, не видя оригинал. В слепом сравнении 57% участников предпочли версию ИИ против 33% за настоящий экран, а правильно опознать работу модели смогли лишь в 58% случаев при 50% случайного угадывания.

image

Что произошло

Бенчмарк работает в формате игры на сайте realdesignbenchmark.com: посетителю показывают два экрана одного продукта, он сначала выбирает лучший вариант, а затем угадывает, какой из двух сделан ИИ. Задачи устроены так: модель получает текстовый бриф, четыре скриншота соседних экранов и набор шрифтов, иконок и цветов, после чего генерирует HTML нового экрана, не видя реальный дизайн; оба варианта рендерятся одинаково, чтобы исключить различия в подаче. К 12 октября 2026 года проект накопил 116 задач из 52 продуктов и несколько тысяч ответов: 57% участников предпочли ИИ-версию, 33% — настоящий экран, ещё 10% посчитали варианты примерно одинаковыми. Работу модели удалось правильно распознать в 58% случаев, что лишь немного выше уровня случайного угадывания в 50%.

Контекст

Без одной смысловой детали цифры легко перечитать неверно: модели предлагают не открытый дизайн с нуля, а генерацию внутри дизайн-системы конкретного продукта, по сути восстановление фирменного стиля по косвенным сигналам. Поэтому результат замеряет сильное следование контексту и стилю, а не способность придумывать новые интерфейсные решения. Гигиена методологии при этом выше среднего для самостоятельно опубликованных бенчмарков: слепое парное сравнение с двойным вопросом, идентичный рендеринг обоих вариантов через HTML и скриншот, ручная проверка промптов на утечку целевого экрана, тестовые аккаунты с dummy-данными и открытая методология версии 1.1, опубликованная 14 октября 2026 года. Важен и статус проекта: это добротно поставленное измерение уже существующей способности фронтирных моделей, а не прорыв в самих моделях, и ручной эксперимент одного автора, а не коммерческий продукт.

Почему это важно для индустрии

Для индустрии это публичное измеримое доказательство, что фронтир-модели уже генерируют UI, который люди в контексте реального продукта не только не отличают от работы дизайнера, но и чаще предпочитают. Сам рецепт воспроизводим: пайплайн из сборки контекста продукта, вызова модели, генерации HTML, скриншота и слепого сравнения можно развернуть уже сегодня как оффлайн-генерацию черновых экранов и вариаций из бренд-ассетов, без жёстких требований к латентности. Бенчмарк заодно предлагает новый критерий качества для LLM в субъективных задачах, а не только в коде и математике. Пока эффект репутационно-сигнальный: появился проверяемый аргумент «UI-генерация работает в реальном контексте», на который можно ссылаться в питчах и роадмапах, но прямых изменений в бюджеты покупателей он сегодня не переводит. Прогноз, а не свершившийся факт: если трафик сохранится и появятся разбивки по моделям, версиям и категориям продуктов, проект может стать регулярным лидербордом «субъективных» способностей LLM, на который будут ссылаться при релизах.

Почему это важно для пользователей

Всё можно проверить руками: на realdesignbenchmark.com доступна сама игра — вы выбираете лучший из двух экранов и угадываете, где работа ИИ, — рядом опубликована методология и сами HTML-экраны, сгенерированные моделями для реальных продуктов. Дизайнерам и разработчикам это даёт наглядную оценку того, насколько модель вписывает новый экран в чужую систему шрифтов, иконок и цветов без ручной подгонки под бренд, а всем, кто следит за способностями LLM за пределами программирования, — предметное представление о том, насколько далеко зашёл генеративный UI.

Что пока неизвестно / ограничения

Осторожность нужна по нескольким причинам. Опережение случайного угадывания всего на 8 процентных пунктов — точечная оценка по нескольким тысячам ответов без опубликованных в исходном материале доверительных интервалов, контроля повторных голосов и учёта самоотбора аудитории, поэтому отделить реальный сигнал от шума пока нельзя. «Предпочитают» в слепом сравнении — метрика мгновенного эстетического суждения: юзабилити, полнота состояний экрана, краевые случаи и доступность этим протоколом не измеряются вовсе. Бенчмарк также не раскрывает стоимость инференса и задержки генерации, прогоны моделей недетерминированы и гарантии консистентности результатов не проверены, а валидация остаётся целиком человеческой — медленной и недешёвой.

Источники

Автор

Look at AI, редакция