EvoGenUI-Banch: Оценка МЛМ в качестве помощников по многопереходным генераторам

arXiv:2608.29387v2 Annualce Type: заменить резюме: Большие языковые модели могут генерировать интерактивные вебинтерфейсы, но для надежного адгенеративного UI требуется поддерживать активируемый артефакт по мере изменения запросов пользователей. Мы представляем EvoGenUI-Banch, базовый показатель для многооборотного обслуживания интерфейса, включающий 150 задач пяти оборотов и 750 изменений в трех сценариях: представление информации, функциональное взаимодействие и внешнее состояние с использованием инструментов. Мы выполняем генерированные артефакты в браузере и оцениваем их с помощью скриншотов, источников и улик DOM, следов актёра и журнала рабочего времени. Помимо успеха на уровне поворота и эпизодов, мы измеряем удержание поперечного поворота с прилегающим пропуском. В восьми моделях даже самые сильные достигают 74,9% поворачивания, завершая лишь 37,3% пятиразового цикла; ПРП далее снижается до 52,4% в работе с инструментами. Диагностический анализ показывает, что недостатки в представлении данных сосредоточены на информационной архитектуре, сбоях взаимодействия с распространением производного состояния и афф.