Оставить неизмеримыми текущие контрольные показатели АИ: модальность, поиск, цитаты и последствия (для оценки безопасности)

arXiv: 2608.06202v2 Тип уведомления: заменить перекрестное резюме: эталонные оценки большой языковой модели (LLM) обычно используются для обоснования утверждений о безопасности, надежности и готовности к развертыванию моделей. Тем не менее в большинстве оценок используется единый механизм доступа (модель API), проводится одноразовая прогонка на одну быструю, и точность отчетности является основным показателем конечных результатов без учета таких условий, как поиск по Интернету, которые могут оказывать влияние на поведение модели при внедрении. Мы проверяем эти допущения на одном из наиболее широко используемых МЛМ, сравнивая два способа: чат UI и API OpenAI с возможностью поиска в Интернете и без него. Мы используем стратифицированную общую выборку из 401 посылки по двум популярным контрольным показателям: BBQ и SafebBench, в результате чего было собрано 4812 ответов за три повторных прогона. Помимо стандартных показателей эффективности, мы оцениваем параметры выходных данных модели, включая последовательность реагирования, сходство текстов ответов, заземление и поведение воздержания. Например, чат UI resp