🚀 Контекстное окно на 100 миллионов слов уже возможно
Генеральный директор Anthropic Дарио Амодей заявил, что архитектурно модели ИИ уже способны обрабатывать контекст объемом до 100 миллионов слов. Это позволяет ИИ «обучаться» непосредственно в процессе работы (in-context learning) без изменения весов модели. Основным препятствием для внедрения сейчас является высокая стоимость и низкая скорость инференса.
🌍 Переход к использованию гигантского контекста меняет парадигму: фокус R&D смещается с архитектурных инноваций на оптимизацию инференса и снижение вычислительных затрат при работе с длинными последовательностями.
👤 Нейросети смогут мгновенно анализировать целые библиотеки документов, многолетние архивы финансовых отчетов или огромные кодовые базы, не теряя нить рассуждения.
Источник 1: https://cryptobriefing.com/anthropic-100-million-word-context-window/ Источник 2: https://www.youtube.com/watch?v=mYDSSRS-B5U