Британская организация Which? выявила критические ошибки в работе искусственного интеллекта Tripadvisor. Нейросеть систематически игнорирует жалобы на пищевые отравления, сексуальные домогательства и плохую гигиену, выдавая отели с серьезными проблемами за «безупречные».
Что произошло
В ходе расследования выяснилось, что AI-саммари Tripadvisor предоставляет пользователям ложную информацию о безопасности отелей. Например, для отеля Riu Palace Santa Maria система утверждала, что чистота в заведении находится на «безупречном» уровне, несмотря на наличие сообщений о смерти гостей и случаях массового пищевого отравления.
Контекст
Проблема заключается в так называемом «ошибке пропуска» (omission bias) и селективном восприятии данных. Модели демонстрируют способность к суммаризации текста, но не обладают способностью к безопасной интерпретации критически важных фактов, отдавая приоритет позитивным отзывам и игнорируя негативные сигналы высокой важности.
Почему это важно для индустрии
Этот кейс демонстрирует фундаментальные риски для AI-платформ: селективное восприятие данных при суммаризации может привести к юридической ответственности и репутационным катастрофам. Для индустрии это сигнал о необходимости перехода от простых LLM-summarizers к многоэтапным пайплайнам, включающим специализированные слои Safety-aware Summarization и обязательные этапы проверки критических фактов.
Почему это важно для пользователей
Пользователям не следует полагаться исключительно на автоматические резюме в начале страниц. Для проверки безопасности отеля необходимо самостоятельно просматривать реальные отзывы, уделяя особое внимание негативным сообщениям от других путешественников.
Что пока неизвестно / ограничения
Существует разрыв в восприятии проблемы: если технические специалисты видят в этом провал пайплайнов и архитектурные риски, то бизнес-сообщество фокусируется на юридической ответственности и репутационных последствиях.
Источники
Автор
Look at AI, редакция