🤖 Предел масштабирования современных ИИ
Исследование команды Вишала Мисры (Columbia University) выявило фундаментальный барьер в архитектуре трансформеров: «стену» между статистической идентификацией паттернов (по Шеннону) и их программной реконструкцией (по Колмогорову). Эксперименты показали, что модели теряют точность сразу за пределами области, на которой обучался градиентный сигнал, а масштабирование параметров не устраняет этот барьер.
🌍 Результат ставит под сомнение тезис о том, что простое масштабирование (scaling laws) приведет к созданию полноценного машинного интеллекта. Проблема заключается в том, что современные LLM создают локальные «цепи предсказания», а не универсальные алгоритмические программы.
👤 Это объясняет, почему ИИ может мастерски писать код, но внезапно «галлюцинирует» в элементарных логических шагах, как только задача выходит за рамки его прямой тренировочной базы. ИИ пока больше похож на «патчер» аномалий, чем на полноценный решатель задач.
Источник 1: https://medium.com/@vishalmisra/the-wall-between-shannon-and-kolmogorov-65a9d7e8fb7c