🤖 Проблема «самозакрепления» (self-anchoring) LLM при отладке кода
Барретт Сонтаг описывает феномен, при котором языковая модель продолжает уверенно защищать неверный ответ в процессе итеративной отладки. Для решения предлагается использовать Multi-LLM Loop: разработчик заставляет архитектурно разные модели (например, Claude и ChatGPT) генерировать параллельные гипотезы и критиковать выводы друг друга.
🌍 Метод подчеркивает важность архитектурного разнообразия при использовании ИИ в разработке ПО. Для снижения вероятности галлюцинаций индустрии необходимо переходить от использования одного «супер-интеллекта» к оркестрации ансамблей моделей с разными обучающими данными и механизмами RLHF.
👤 Вместо того чтобы бесконечно переспрашивать одну и ту же модель (что только усилит её уверенность в ошибке), используйте разные ИИ для перекрестной проверки. Если Claude и ChatGPT разошлись в диагнозе, именно в этой точке кроется реальная причина бага.
Источник 1: https://sosuke.com/models-have-blind-spots-debugging-unfamiliar-code-with-a-multi-llm-loop/