🤖 Thinking Machines Lab выпустила Inkling 2 Mini — открытую мультимодальную модель с лупами

20 ноября лаборатория опубликовала Inkling 2 Mini под лицензией Apache 2.0: 26,4B общих параметров, 3,4B активных, контекст до 1M токенов, чекпоинт ~20 ГБ. Это первый looped transformer лаборатории: средние 12 слоёв прогоняются трижды с общими весами, поэтому глубина растёт без роста числа параметров.

🌍 Открытые веса задают референс «скейлинга глубины»: инференс дешевле — один ~20 ГБ чекпоинт вместо десятков, а Goodfire подтвердил интерпретируемость архитектуры.

👤 Модель запускается локально на 32 ГБ (MacBook, DGX Spark) через vLLM, Ollama и другие инструменты. Учтите: склонность к зацикливанию, деградация на неанглийских языках и повышенные вычисления на токен.

Источник 1: https://huggingface.co/thinkingmachines/Inkling-2-Mini Источник 2: https://www.goodfire.com/research/interpreting-inkling-2-mini/