Глава Anthropic призвал замедлить развитие ИИ и допустить независимых проверяющих внутрь лаборатории

⚡ Глава Anthropic призвал замедлить развитие ИИ

Дарио Амодеи опубликовал эссе "We Must Pace the Frontier" и призвал замедлять рост возможностей фронтир-моделей, чтобы аудит успевал за разработкой. По его оценке, ИИ уже ускоряет создание следующих моделей, а в 6-12 месяцев рой агентов теоретически развернёт ботнет с ущербом в сотни миллиардов долларов. Anthropic берёт обязательство дать независимым проверяющим постоянный employee-level доступ, включая оценку alignment в процессе обучения.

🌍 Лидер рынка впервые институционализирует внешний аудит процесса обучения. Три шага: embedded evaluators, координация лабораторий демократических стран, международные нормы. Альтман заявил, что OpenAI поступит так же, Hugging Face попросила вступить в программу.

👤 Независимые эксперты смогут публиковать выводы о безопасности передовых моделей.

Источник: https://darioamodei.com/post/we-must-pace-the-frontier