Последняя проверка агентов

arXiv: 2606.05405v3 Annuales Type: заменить резюме: последние системы АИ добились значительных результатов по широкому кругу контрольных показателей, однако эти достижения не привели к экономически значимому внедрению во многих профессиональных областях. Мы считаем, что этот пробел в значительной степени является проблемой оценки: широко используемые контрольные показатели не позволяют обеспечить устойчивое измерение эффективности реальных и экономически ценных рабочих процессов. В настоящем документе представлен последний анализ агентов (ALE), который является ориентиром, предназначенным для оценки воздействия АИ на длинных горизонтах, экономически ценных и реальных задач в мире с поддающимися проверке результатами. В сотрудничестве с 250 отраслевыми экспертами ALE охватывает нефизические отрасли, определенные в связи с O*NET/SOC 2018 (федеральная профессиональная таксономия США). Она построена вокруг целевой таксономии с 55 подполезами, сгруппированными в 13 отраслевых кластеров, охватывающих задачи 1K+. Текущие результаты показывают, что наиболее трудная ярус по-прежнему далека от насыщенности: в рамках основных жгутов и конфигураций позвоночника авераг