Агент Фэрбэнч: Разоблачают ли агенты ЛЛМ, когда они действуют?

arXiv:2606.16723v2 Annuales Type: заменить резюме: агенты большой языковой модели (LLM) все чаще принимают меры (отбор заявителей, рекомендации по кредиту, сортировка пациентов), однако справедливость в отношении MLM до сих пор измеряется путем оценки ответов. Мы представляем агенту Фэйрбэнчу, дешевый, воспроизводимый и многодоменный показатель демографического неравенства в действиях агентов ЛМ. Основанный на параллельной системе, Bias Coduction Framework (BCF, пересчитанная здесь), охватывает три области: наем персонала, кредитование и медицинское сортирование. Синтетические, нейтральные в демографическом отношении профили оцениваются с помощью контрфактических наборов данных, которые изменяются только по признаку расы x полового сигнала (по традиции Бертран Муллаинатан), под четырьмя агентскими драками растущего агентства (прямые, цепные обсуждения, обсуждение с участием нескольких агентов и использование инструментов). Привязка только для NumPy вычисляет коэффициент обратного изменения, средняя разница в абсолютных баллах (MASD), диспропорция между уровнем действия и показателем использования инструментов, с правом доверенности