Оценка поколения " Rutric Continutional Transfer &qt;

arXiv: 2610.108009v1 Тип уведомления: новое резюме: в критериях АИ широко используются рубрики, относящиеся к конкретным случаям, когда для надежной оценки требуются специальные экспертные знания. Такой подход трудно масштабировать, что стимулирует проведение исследований в области подготовки рубрик с крупными языковыми моделями (ЛММ). Однако даже в тех случаях, когда в качестве справочных материалов имеются экспертные рубрики, неясно, как продуктивно оценивать качество генерируемых рубрик на уровне масштабов. В настоящем документе мы введем метод оценки поколения предметов, который мы называем " интервенционная передача (ИТ), на основе идеи о том, что две рубрики схожи, если они движутся вместе, когда реакция неуравновешена для прохождения/неудачи одного из них. В отличие от существующих подходов к оценке образования рубрик мы считаем, что различные формы передачи средств вмешательства могут использоваться для оценки полезности генерируемых рубрик для различных задач. Например, мы применяем этот подход в тематическом исследовании HealthBench, где мы демонстрируем асимметрию в рубрике