Новое исследование показало критическую проблему доступности контента для современных ИИ-ассистентов: популярные краулеры, такие как GPTBot, ClaudeBot и PerplexityBot, не исполняют JavaScript. Это делает приложения на базе Single Page Application (SPA) практически невидимыми для нейросетевого поиска, так как вместо полноценного контента они получают лишь пустой HTML-каркас.
Что произошло
Аудит 11 работающих сайтов выявил, что при использовании Client-Side Rendering (CSR) краулеры получают всего от 5 до 8 слов текста вместо тысяч слов реального контента. В отличие от Googlebot, который умеет рендерить JavaScript, основные AI-боты видят лишь метатеги и пустые структуры React или Vue приложений.
Контекст
Традиционное поисковое SEO и новая область Generative Engine Optimization (GEO) различаются архитектурно. В то время как классические поисковики адаптировались к исполнению скриптов, текущее поколение AI-краулеров фокусируется на быстрой обработке сырого HTML, что создает технологический разрыв в методологии сбора данных.
Почему это важно для индустрии
Для индустрии это означает переход от стандартного SEO к GEO. Разработчикам необходимо внедрять Server-Side Rendering (SSR) через такие инструменты, как Next.js или Astro, либо использовать решения для пререндеринга. Технологический стек сайтов теперь напрямую определяет их репрезентативность в ответах LLM-driven систем.
Почему это важно для пользователей
Владельцы сайтов и брендов, полагающиеся исключительно на Client-Side Rendering, рискуют потерять охват в ответах ChatGPT Search или Perplexity. Их продукты и услуги просто не попадают в контекст при RAG-запросах, что ведет к снижению органического трафика из новых каналов поиска.
Что пока неизвестно / ограничения
Наблюдается различие в оценке последствий: от технического долга в коде до экзистенциального риска для дистрибуции контента и бизнеса.
Источники
Автор
Look at AI, редакция