🤖 Ричард Саттон описал «ловушку одного шага» в исследованиях ИИ
Один из основоположников обучения с подкреплением утверждает, что попытки строить долгосрочные прогнозы путем простого итеративного применения модели одномерного предсказания (one-step transition model) неэффективны. В стохастических средах это приводит к быстрому накоплению ошибок и экспоненциальному росту вычислительной сложности. Вместо этого Саттон предлагает использовать темпорально абстрактные модели на основе опций (options) и обобщенных функций ценности (GVF).
🌍 Это ставит под сомнение эффективность чисто моделей-симуляторов, пытающихся предсказать следующее состояние среды, и указывает на необходимость перехода к иерархическому обучению и временным абстракциям для создания по-настоящему автономных агентов.
👤 Помогает понять фундаментальную проблему масштабирования моделей предсказания: почему простая «прокрутка» (roll-out) модели одного шага не работает для долгосрочного планирования и какие архитектуры (например, semi-MDP) являются более перспективными.
Источник 1: http://incompleteideas.net/IncIdeas/OneStepTrap.html