Агент Горизон: Оценка работы судей-агентов по долгосрочным задачам использования компьютеров

Компьютерная наука > Искусственная разведка [представлена 8 октября 2026 года] Название: AgentHorizon: Оценка агентских судей для выполнения долгосрочных задач в области компьютерного использования PDF HTML (экспериментальный) резюме. Несмотря на их гибкость, достоверность в отношении длинных задач, охватывающих множество видов применения, остается неясной. Траектория, состоящая из длинных последовательностей скриншотов и действий, может показаться полной, но на самом деле нарушает ограничения инструкции или создает нежелательный побочный эффект. Для выявления этих ошибок судья должен изучить траекторию в связи с инструкциями пользователя. С этой целью мы введем агент Горизон, эталонный показатель из 1373 компьютерных задач (пары инструкций-траекторий), составленный на основе 166 часов записанных человеком траектории по трем операционным системам. Записывая траектории для тесно связанных с ними инструкций, мы можем создавать негативные задачи путем обмена инструкциями. Этот парный дизайн оценивает способность судей отличать успешную траекторию от той, которая выполнила аналогичную (но несовместимую) просьбу. Мы выпускаем базовый показатель под тремя разделами: пограничный раскол, агент Горизон (AH), упрощенный раздел, АГент Горисон-Симпл (Ah-S) и поделенный на развитие, agent Horizon-Development (AG-D). Кроме того, мы оцениваем 11 судей на основе 1) прямого прохождения траектории (с до 300 скриптов и действий) и 2) использования их в качестве агентов кодирования по пяти…