🛡 Фундаментальные основы AI safety важнее технических инструментов
Зефания Ро (Zephaniah Roe) в статье на LessWrong проводит аналогию с биологией: как деревья состоят в основном из воздуха, так и безопасность ИИ требует понимания глубоких концепций, а не только владения инструментами. Автор критикует узкую специализацию исследователей на технических методах, которая мешает осознанию экзистенциальных рисков, таких как инструментальная конвергенция, inner alignment и ортогональность.
🌍 Проблема «разрыва в основах» может привести к тому, что научные усилия будут направлены на решение узких технических задач, которые не решают корневые проблемы безопасности ИИ, создавая ложное чувство прогресса.
👤 Важно не только изучать конкретные библиотеки или методы интерпретируемости, но и понимать теоретический фундамент (alignment, reward misspecification), чтобы иметь четкое понимание векторов развития области.
Источник 1: https://www.lesswrong.com/posts/xiTBpBDwubnr4MLRe/trees-are-mostly-made-of-air-and-a-generalizable-lesson-for