Трансект: сохранение возможности наблюдения за оценками агентов ЛММ на длительно-горизонском уровне

arXiv: 2610,08364v2 Тип уведомления: заменить резюме: в оценках " Пограничная АИ &qt; все шире используются открытые, агентские и долгосрочные задачи, стенограммы которых могут охватывать сотни страниц материалов и действий из сложных многоагентных сетей. Таким образом, защищенность от всего спектра того, что оценщики могут достоверно предположить относительно поведения агента, сокращается. Помощники по языковой модели могут помочь классифицировать и интерпретировать поведение агентов, а также предоставить людям возможность для оценки значительной степени свободы в аналитическом плане, что ставит под угрозу воспроизводимость и проверку результатов анализа стенограмм на основе языковых моделей. Трансект - это пакет с открытым исходным кодом, построенный на базе Inspects Scout для того, чтобы помочь оценщикам понять как разворачивается длительный агент, определить поведение, заслуживающее расследования, и проверить интерпретацию по стенограмме. Пользователи уточняют контекст задач и поведенческий термин в многоразовой конфигурации оценки-семьи, причем модели оценки и параметры анализа приводятся отдельно. Трансектное сообщение