🤖 Thinking Machines Lab выпустила Inkling 2 Mini — открытую мультимодальную модель с лупами
20 ноября лаборатория опубликовала Inkling 2 Mini под лицензией Apache 2.0: 26,4B общих параметров, 3,4B активных, контекст до 1M токенов, чекпоинт ~20 ГБ. Это первый looped transformer лаборатории: средние 12 слоёв прогоняются трижды с общими весами, поэтому глубина растёт без роста числа параметров.
🌍 Открытые веса задают референс «скейлинга глубины»: инференс дешевле — один ~20 ГБ чекпоинт вместо десятков, а Goodfire подтвердил интерпретируемость архитектуры.
👤 Модель запускается локально на 32 ГБ (MacBook, DGX Spark) через vLLM, Ollama и другие инструменты. Учтите: склонность к зацикливанию, деградация на неанглийских языках и повышенные вычисления на токен.
Источник 1: https://huggingface.co/thinkingmachines/Inkling-2-Mini Источник 2: https://www.goodfire.com/research/interpreting-inkling-2-mini/
