MiMo-V2.6: Расширение возможностей обучения в целях повышения самосознания

arXiv: 2610.11959v1 Annualce Type: New Habstrate: Supreditation Unergion (RL) — это центральная тренировочная парадигма продвижения крупных базовых моделей к самосовершенствованию. В настоящем докладе представлена серия MiMo-V2,6, семейство комнимодальных систем, которые двигают границы модели интеллекта путем масштабирования RL вычислений. До RL мы проводим среднюю подготовку по широкому мультимодальному корпусу, чтобы обеспечить обширное пространство для исследований и создать прочную инфраструктуру на заранее подготовленной гибридной архитектуре SWA в поддержку последующего расширения масштабов. Мы масштабируем RL вычисляем по трем измерениям: 1) большие партии и более высокая пропускная способность с асинхронной подготовкой, которая потребляет 1 568 образцов и 2.7-3.7B символы на шаг в пределах контекста до 1M; 2) более разнообразная и сложная среда, распределенный код, общие, визуальные и кибердомена под смесью привязок агентов; и 3) больше сортировщиков, через групповой агенто-классификационный отметку, который дает более точные сигналы вознаграждения для долгосрочных задач и направляет модель нава