От самосознания к статистической точности: расширение масштабов человеческой оценки в рамках системы " Loop-Assessment &qt; с помощью прямого аудита и аудиторской проверки на уровне ЛУЗС
arXiv: 261 0355698v 1 Annualce Type: New Humber Abstract: Для моделей большого языка (LMS) и мультимодальных крупных языковых моделей (MLMs), информация о самонадеянности, сообщаемая с помощью модели, часто неправильно калибруется, однако она может по-прежнему быть полезной для эффективной оценки. В то же время ЛМ в качестве судьи предлагает масштабируемую альтернативу прямому аудиторскому учету человеческого потенциала, однако практические выгоды от этого зависят от качества калибровки и затрат на ее получение. В настоящем документе разработана единая статистическая основа для обоих направлений оценки в рамках альтернативных стратегий отбора проб. Для целей прямого аудита для восстановления точности данных о численности населения, прошедших частичное проверку, используется реклассифицированный с уверенностью выборка без требования к калибровке достоверности. Характерна неопределенность в отношении финита-образца, и анализ показывает, насколько неравномерность уровней доверия влияет на эффективность аудита и распределение маркировки. Для оценки, проводимой при помощи судей, судья моделируется на основе чувствительности и ложной положительной скорости, что дает корректируемую по ошибке оценку с погрешностью калибровки. В. Экономия