Хорошие рейтинги, бедные решения? Переосмысление " Язык - только вид-образец &qt;

arXiv: 261 0346485v 1 Annuate Type: New Humber: Language-Only Vision-Language Model (LOVM) имеет целью выявить модель Видения/Лангуаж (VLM), в которой максимальная точность нулевого выстрела на целевой задаче с использованием только текстовой информации. Мы пересматриваем существующий протокол оценки ПЗРК и заявляем, что рейтинги показателей, таких как верхний 5-й отзыв и корреляция рангов Кендалла, не дают прямой оценки эффективности выбранной модели. Поэтому мы принимаем простое сожаление (SR), определяемое как разрыв в эффективности между лучшими и отобранными моделями, и внедряем "Внешнее-дроверное" нормализованное сожаление (ОРПР) для учета различных диапазонов показателей по различным задачам при одновременном снижении чувствительности к резко выраженным значениям. Опираясь на этот пересмотренный протокол оценки, мы предлагаем использовать в качестве метода бесплатной подготовки целевой показатель ожидаемого получения информации об источниках (TC-ESR), который позволяет выбирать модель с наименьшим показателем сходства, выраженным средним уровнем сожаления по всем вопросам источников. В рамках 22 целевых задач и 43 МРЖ ТС-ЭСР достигает наименьшего среднего уровня SR и ORNR амон