Сложная простая стратегия отбора данных для мульти-модального обучения в млн.

arXiv: 2503.1383v2 Annuales Type: заменить резюме: последние исследования показывают, что для предварительной подготовки моделей большого языка (LMS) требуются минимальные, но тщательно обработанные данные для корректировки инструкций. На основе МЛМ модели с использованием различных видов транспорта также учитывают гораздо более крупные объемы данных, неоднородные источники и межмодиальную согласованность, усиливая как необходимость, так и сложность отбора данных. Вместе с тем существующие методы основаны на глубоко извлеченных привязках, градиентах или узком качественном балле, которые требуют много времени для расчета и ограничены в экспрессивности, зачастую не превосходя простую случайную выборку. Чтобы преодолеть эти ограничения, мы отходим от сложных помещений для размещения и преследуем основную цель настройки инструкций: каким образом и какие знания должны быть получены на основе модели предварительной подготовки и доступны пользователям. Мы используем взаимодействие underline {S}tyles в качестве опосредованного показателя структурного разнообразия, и разлагаем качество данных на конкретные возможности \sunterline_S}долины, у