Xiaomi MiMo: триллион параметров, из которых работает четыре процента

#Xiaomi #MiMo #Разбираю #Читать
Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Xiaomi собрала не одну модель, а целое семейство — от 7B-малыша до открытого MoE на триллион параметров. Разбираю, что в нём устроено интереснее всего. Читать далее

Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Пока все следили за гонкой закрытых моделей, Xiaomi довела свою линейку MiMo до триллиона параметров — и выложила веса под MIT. Разбираю самое интересное.

Это не модель, а семейство

MiMo — не название одного чекпойнта, а зонтик. Под ним вышли рассуждающая MiMo-7B (май 2025), зрение MiMo-VL, аудио MiMo-Audio, модель для роботов и машин MiMo-Embodied, разреженные MoE поколения V2 и V2.5. Общее у них — имя и команда, а не архитектура. Путь занял полтора года: