Компьютерные науки >Искусственный интеллект [представлен 7 октября 2026 года] Название: DUDA-Bench: Контрольные показатели для агентов LLM по мультимодальным данным - Driven Urban Diagnosis View PDF HTML (экспериментальный) резюме: Урбанская диагностика объединяет разнородные наблюдения в целях выявления городских проблем, локализации пострадавших районов и изучения факторов, способствующих этому, информационного обеспечения основанного на фактических данных городского планирования и управления городским хозяйством. Вместе с тем его зависимость от трудоемких и конкретных экспертных рабочих процессов ограничивает возможности расширения масштабов и повторного использования, что стимулирует изучение методов исполнения на основе агентов. Для оценки этого потенциала мы внедряем DUDA-Bench, иерархический и интерактивный эталонный показатель, который формализует диагностику городов на основе данных в качестве многоэтапного рабочего потока агентов. Она включает 86 задач, связанных с атомными и 22 рабочих потоками, которые охватывают четыре этапа аналитической работы и основаны на мультимодальных данных из 12 городов по пяти видам городских проблем. Оценки семи базовых моделей и пяти систем агентов свидетельствуют о значительном разрыве между отдельными аналитическими знаниями и конечным диагнозом, при этом преимущества системы варьируются в зависимости от позвоночника. Траекторный анализ показывает, что сохраняющиеся пробелы в данных распространяются на всех этапах, а успешное…
DUDA-Bench: Контрольные показатели для агентов ЛМЗ по смешанному диагностике городских данных
arXiv: 2610,09374v1 Сообщение типа: новое резюме: городская диагностика объединяет разнородные наблюдения для выявления городских проблем, локализации пострадавших районов и изучения факторов, способствующих развитию городов, информационного обеспечения городского планирования и управления. Вместе с тем его зависимость от трудоемких и конкретных экспертных рабочих процессов ограничивает возможности расширения масштабов и повторного использования, что стимулирует изучение методов исполнения на основе агентов. Для оценки этого потенциала мы внедряем DUDA-Bench, иерархический и интерактивный эталонный показатель, который формализует диагностику городов на основе данных в качестве многоэтапного рабочего потока агентов. Она включает 86 задач, связанных с атомными и 22 рабочих потоками, которые охватывают четыре этапа аналитической работы и основаны на мультимодальных данных из 12 городов по пяти видам городских проблем. Оценки семи базовых моделей и пяти систем агентов свидетельствуют о значительном разрыве между отдельными аналитическими знаниями и конечным диагнозом, при этом преимущества системы варьируются в зависимости от позвоночника. Траекторный анализ показывает, что сохраняющиеся пробелы в доказательствах способствуют распространению акро