Данные "высокого качества" для раннего обучения: Эмпирическое исследование показателей качества данных

arXiv: 261 030.33969v 1 Annuales Type: новый резюме: "Качество данных" широко используется при настройке инструкции, но этот термин часто не уточняется. Мы изучаем его как операционную собственность, задавая вопрос о том, какие простые показатели уровня примера, полученные в результате предыдущей работы по отбору данных, качеству текстов и корректировке инструкций, лучше всего предсказывают полезность обучения при фиксированном уточнении бюджета. Для каждой метрики мы сортируем примеры инструкции-реакции на баллы, делим их в нижние, средние и высокие корзины с примерно равной символической массой, тонкие отдельно на каждом блоке, и сопоставляем оценку достоверности недоразумения и оценки LLM в качестве судьи для ответов моделей как функцию кумулятивных тренинговых знаков. Наши результаты свидетельствуют о том, что контроль за ответом на вопросы с помощью соотношения ответов является более сильным и портативным прогнозирующим фактором полезности инструкции, чем обычно используемые альтернативные прокси.