Лаборатория искусственного интеллекта PrismML представила новую языковую модель, которая имеет достаточно компактные размеры, чтобы работать на обычных ПК и мощных смартфонах. Компания делает ставку на то, что подобные системы не обязательно должны иметь колоссальные размеры.
Источник изображения: BoliviaInteligente / unsplash.com
Новая в линейке языковая модель PrismML Bonsai 2 27B представляет собой версию популярной открытой системы Alibaba Qwen3.8 27B, но в достаточно компактном размере — всего 5,9 Гбайт. Таким образом она легко поместится на ПК или может запускаться даже на флагманском смартфоне. Объём модели сокращён в 9–10 раз по сравнению с оригиналом.
Технология сжатия, которую применяет PrismML, уникальна, утверждает разработчик: созданные компанией модели практически не теряют в показателях производительности в сравнении с оригиналами. Новая Bonsai 2 демонстрирует 98 % от совокупных результатов бенчмарков, которые показала Qwen. Этот показатель выше, чем у выпущенной в марте первой Qwen, которая обеспечивала 95 % оригинала. И если оригинальную скачали 11 млн раз, то компактные модели PrismML — 2,6 млн раз. Таким образом, демонстрируемые стартапом результаты сжатия улучшаются от версии к версии.
