В юридической сфере фиксируются случаи «невидимого мошенничества» с использованием prompt injection. Злоумышленники встраивают скрытые инструкции, например, используя белый шрифт на белом фоне, которые не видит человек, но считывает ИИ-ассистент судьи или адвоката, что позволяет манипулировать результатами анализа документов.
Что произошло
Зафиксированы случаи использования скрытых текстовых команд для манипуляции LLM в юридических процессах. Злоумышленники встраивают инструкции, которые токенизатор и attention-механизм модели обрабатывают, несмотря на их визуальную недоступность для человека. Практическая реализация подобного сценария подтверждена в бразильском деле с участием ИИ-помощника Galileu, где атака позволила исказить суммаризацию документов и заставить систему игнорировать важные улики.
Контекст
Проблема заключается не в базовой архитектуре LLM, а в безоговорочном доверии к неструктурированным текстовым данным без предварительной проверки. Атаки типа invisible fraud используют визуальную обманку, которая обходит человеческий контроль, но становится частью контекста при подаче данных в систему.
Почему это важно для индустрии
Для разработчиков и компаний в сфере LegalTech это означает критическую уязвимость текущих пайплайнов обработки документов. Существует острая необходимость в создании специализированных инструментов AI Security Audit и внедрении механизмов очистки входных данных (input sanitization) перед их подачей в RAG-системы. В ближайшие месяцы ожидается усиление требований к AI Safety и появление стандартов защиты от adversarial detection.
Почему это важно для пользователей
Для профессиональных участников правовой системы это меняет подход к проверке информации: защита от ИИ-мошенничества теперь требует не только фактчекинга, но и технического аудита входных документов на наличие скрытых команд. Чрезмерное доверие к автоматизированной суммаризации без дополнительных слоев проверки (guardrails) может привести к искажению судебных решений.
Что пока неизвестно / ограничения
Явных технических разногласий не выявлено, однако требуется дальнейшая разработка методов детекции скрытых инструкций.
Источники
Автор
Look at AI, редакция