Повторное использование разнообразия: фильтрация высокоподписавшихся данных для моделирования на немецком языке

arXiv:2604.28075v3 Annualce Type: заменить резюме. Последние исследования показали, что фильтрация массивной английской интернет-корпоры в высококачественные подмножества значительно повышает эффективность подготовки кадров. Однако для таких высокоресурсных неанглийских языков, как немецкий, французский или японский, агрессивное фильтрование создает стратегическую дилемму: следует ли специалистам-практикам уделять приоритетное внимание разнообразию путем обучения большому количеству легко отфильтрованных вебданных или же приоритизировать качество посредством строго фильтрации высококачественного ядра и повторения его на нескольких эпохах? Мы исследуем этот компромисс для немецкого языка путем применения иерархических фильтров качества к 500М веб-документам, сравнивая многоэпоховую подготовку по отфильтрованным подмножествам с одноразовой подготовкой на различных композициях. Наши эксперименты с использованием различных моделей и символических бюджетов показывают, что повторение высококачественных данных последовательно опережает обучение на одном пропуске по более крупным, менее фильтрованным наборам. Следует отметить, что разрыв в показателях деятельности сохраняется даже после 7 лет. Наши выводы говорят о том, что