🛠 Cockroach Crawler — управляемые веб-краулеры для AI-агентов
Представлена open-source TypeScript-библиотека Cockroach Crawler. Она позволяет AI-агентам обходить сайты (BFS, DFS, adaptive), рендерить JavaScript через Chromium и парсить PDF, обеспечивая при этом строгий контроль над ресурсами и безопасностью.
🌍 Инструмент решает проблему непредсказуемости AI-агентов в сети, создавая слой «контролируемого зрения» с защитой от SSRF и проверкой DNS.
👤 Поможет разработчикам RAG-систем собирать качественные данные, не превращая своих агентов в бесконтрольные бот-неты.
Источник 1: https://github.com/AjnasNB/cockroach-crawler