🤖 LOGOS: пятиуровневая таксономия для оценки когнитивной агентности человека и ИИ.
Представлен фреймворк LOGOS — пятиуровневая таксономия для оценки когнитивной агентности человека и ИИ. Исследование, проведенное в Universidad Anáhuac México, предлагает иерархическую архитектуру для решения проблемы отсутствия подлинного понимания у современных LLM. Фреймворк включает методы бенчмаркинга для сравнения систем с такими моделями, как GPT-4, Claude 3, Gemini Ultra и LLaMA-3.
🌍 Предложен новый методологический подход к оценке ИИ, который фокусируется на когнитивной глубине и логическом обосновании (grounding), а не только на статистической точности ответов.
👤 Дает понимание того, как ученые пытаются измерить «интеллект» и «понимание» ИИ, а не просто его способность предсказывать следующий токен.
Источник 1: https://labs.sciety.org/articles/by?article_doi=10.35542/osf.io/9gw5d_v1
Источник 2: https://zenodo.org/records/17266890/files/Logos-AI-Framework.pdf