AOS-Bench: Могут ли агенты LLM управлять динамическими нагрузками?

arXiv:2610.33178v2 Тип уведомления: заменить резюме: кодирующие агенты переходят от рассмотрения одной просьбы за раз к выполнению функций постоянных помощников, которым пользователи руководят работой: сборка, обработка данных и блокировка ошибок могут быть запланированы на одном и том же аппарате одновременно. Такой агент должен решить, когда взяться за новые задачи, как делегировать и перекрывать их, а также как оставаться внутри процессора и памяти машины. Существующие контрольные показатели не могут измерять это, поскольку они оценивают каждую задачу в отдельности. Мы внедряем систему AOS-Bench, которая оценивает агентскую систему в качестве управляющего рабочей нагрузкой: проверяемые задачи поступают с течением времени и должны выполняться при общих рамках процесса и ограничениях памяти, а те же самые функции выполняются по одному за раз, служат отправной точкой для каждой системы. В пяти моделях - парах гардеробности, изолированный успех задачи не перевешивает равномерно. При большой рабочей нагрузке каждая система теряет 13 - 23 пункта. Что касается средней рабочей нагрузки, то системы охватывают 11 пунктов с изолированным успехом, но 26 пунктов - успешностью потока и 2 системы 0.