LinMix: Смешивание данных как линейное домен

arXiv: 261 030,37390v1 Тип уведомления: новое резюме: эффективность модели языка в значительной степени зависит от сочетания доменов в предварительном комплекте данных. Популярные методы смешивания данных отбирают эти весовые значения домена, обучая многих небольших опосредованных моделей случайным комбинациям и затем устанавливая регрессионную модель для прогнозирования эффективности на основе этой смеси. Мы признаем эту практику в качестве проблемы присвоения доменов, когда регрессия измеряет вклад каждого домена в целевую метрику. С помощью этой линзы стандартная выборка микроданных дирихлета представляет собой неудовлетворительную регрессию, которая требует корректировки и не может обеспечить линейное приспособление для сотен областей. Основываясь на классическом оптимальном экспериментальном дизайне, мы введем LinMix, который смешает образцы на вершинах покрытого simperx так что каждый домен находится на своем верхнем пределе или отсутствует. Этот недисперсионный отбор проб с помощью гиперпараметров позволяет определить эффекты домена, что дает возможность интерпретируемой линейной модели, коэффициенты которой являются атрибутами домена. Оптимальное сочетание данных