Компьютерные науки > Искусственный интеллект [представлен 8 апреля 2026 (v1), последний раз пересмотрен 2 октября 2026 года (эта версия, v3)] Название: Что отсутствует в скриншоте? В связи с этим по-прежнему остаются нерешенными задачи, связанные с рассуждением о том, как использовать интерференционный формат для мультимодального ГУИ для обоснования PDF HTML. Нынешние методы, как правило, основываются на принятии решений непосредственно на экранах, что не дает возможности интерпретировать и упускает из виду всеобъемлющее понимание элементов UI, в конечном счете приводящее к провалу задачи. Для углубления понимания и взаимодействия с МСК мы предлагаем новаторскую концептуальную парадигму ГУИ под названием UI-in-to-Loop (UILOop). Наш подход рассматривает задачу по обоснованию ГУИ как циклический процесс скриншотных элементов - действия. Благодаря тому, что UILoop позволяет мультимодальным моделям большого языка (MLM) непосредственно изучать локализацию, семантические функции и практическое использование ключевых элементов UI, он достигает точного обнаружения элементов и выполняет интерпретируемую аргументацию. Кроме того, мы введем более сложную задачу по определению ЮИ с уделением особого внимания элементам UI и тремя оценочными показателями. Соответственно, мы представляем контрольный показатель в 26K проб (UI Compreension-Banch) для всеобъемлющей оценки способности существующих методов использовать элементы UI. Широкие эксперименты показывают, что UILOop достигает…
Чего не хватает в Скрин-к действию? К восприятию мультимодального ГУИ
arXiv: 2604.069995v3 Annuales Type: заменить резюме: существующие задачи графического интерфейса пользователей (GUI) по-прежнему остаются сложными, особенно в понимании UI. Нынешние методы, как правило, основываются на принятии решений непосредственно на экранах, что не дает возможности интерпретировать и упускает из виду всеобъемлющее понимание элементов UI, в конечном счете приводящее к провалу задачи. Для углубления понимания и взаимодействия с МСК мы предлагаем новаторскую концептуальную парадигму ГУИ под названием UI-in-to-Loop (UILOop). Наш подход рассматривает задачу по обоснованию ГУИ как циклический процесс скриншотных элементов - действия. Благодаря тому, что UILoop позволяет мультимодальным моделям большого языка (MLM) непосредственно изучать локализацию, семантические функции и практическое использование ключевых элементов UI, он достигает точного обнаружения элементов и выполняет интерпретируемую аргументацию. Кроме того, мы введем более сложную задачу по определению ЮИ с уделением особого внимания элементам UI и тремя оценочными показателями. Соответственно, мы представляем контрольный показатель в 26K проб (UI Co)