Козаль-Микс: комбинация данных в качестве причинно-следственного эффекта для обучения модели языка

arXiv:2607.01104v2 Тип уведомления: заменить перекрестное резюме: в рамках подготовки по использованию модели большого языка (LLM) смешивание данных играет ключевую роль при определении эффективности моделей. Последние методы оптимизируют весы смеси с помощью косвенных моделей, однако они основаны на предположениях о распределении статических данных. В результате, когда базовый пул данных меняется, эти методы требуют дорогостоящей переподготовки с нуля. Это ограничение ограничивает их способность к бесперебойному масштабированию от небольших настроек до более крупных пулов данных и размеров моделей. В настоящем документе мы предлагаем "Каусальмикс" устранить это ограничение путем выделения оптимизации смеси данных в качестве причинно-следственной проблемы. Мы формулируем статистические характеристики пула данных в качестве ковариатов и домена как обработка. После установки причинно-следственной модели на 512 прогонах Qwen2,5-0,5B для оценки воздействия средней условной обработки (CATE) мы экстраполируем оптимальную смесь для пула данных 800K и используем ее для подготовки модели 7В. Кроме того, мы успешно обобщаем