Задание-Центура Лично оформленные федеральные тонкие языковые модели
arXiv:2604.0050v3 Тип уведомления: заменить перекрестное резюме: Федеративная система обучения (ФЛ) стала перспективным методом для подготовки языковых моделей на основе распространенных и частных наборов данных по различным задачам. Вместе с тем агрегирование моделей, подготовленных по различным направлениям работы, зачастую снижает общую эффективность деятельности отдельных клиентов. Для решения этой проблемы индивидуализированный FL (PFL) направлен на создание моделей, адаптированных для распространения данных каждым клиентом. Хотя эти подходы повышают эффективность работы на местном уровне, они обычно не имеют надежной основы по двум аспектам: i) обобщение: когда клиенты должны делать прогнозы относительно невидимых задач или сталкиваться с изменениями в распределении данных; и ii) вмешательство внутриклиентских функций: если данные одного клиента содержат множество сообщений, которые могут препятствовать друг другу во время обучения на местах. Для решения этих двух задач мы предлагаем FedRouter, основанный на группировании НПФ, который создает специализированные модели для каждой задачи, а не для каждого клиента. FedRouter использует адапторы для индивидуализации
