Бонсай 2 27В: Неразрывное подавление в 9-х меньших отпечатках

#Бонсай #Неразрывное #Статья #Замечания

Статья URL: https://prismml.com/news/bonsai-2-27b Замечания

Внося Bonsai 2 27B: Ближайшее беспомощное компрессие в 9x Маленьком отпечатке два месяца назад, мы выпустили наши первые модели Bonsay 27B и показали, что мультимодель класса 27B может быть достаточно сжата для эффективного использования на местном устройстве. Сегодня мы выпускаем Ternary Bonsai 2 27B, нашу самую способную модель. Основываясь на Qwen3.8 27B, Ternary Bonsai 2 27B привносит в серию Bonsai более убедительные рассуждения, кодирование, зрение и агентические способности, сохраняя при этом профиль развертывания, который определяет его: значительно меньшего следа памяти, большой локальной пропускной способности и повышения энергоэффективности. В Ternary Bonsai 2 27B используются весы ternary {-1, 0, +1} с групповым масштабированием FP16 для 1,76 эффективных бит на каждый вес и общим образцом 5.9GB. Низкая представленность применяется в конце, чтобы закончиться по всей языковой модели. Он поддерживает 262K-стопочное окно, мультимодальный текст и изображение, а также выпускается по лицензии Apache 2.0. По сравнению со своим полностью точным контрагентом, Ternary Bonsai 2 27B более чем на 9x меньше при сохранении 98,2% от совокупных базовых показателей. При таком уровне удержания сжатие становится раздвижным механизмом: почти такой же потенциал, с помощью следа, который может работать в гораздо большем числе мест. То, что изменилось с первого выпуска Bonsai 27B. Наше первое релиз Bonsay 27B стало важной вехой в жизни и предлагает практический способ запуска…