Кодовый капот: Может ли код служить хорошей видеокапцией?

Компьютерная наука > Компютерное видение и распознавание шаблона [представлено 27 октября 2026 года] Название: Code Cap-Bench: Может ли код служить в качестве хорошей видеокапозиции? Вид PDF HTML (экспериментальный) Резюме: Video субтитры имеет целью сохранить визуальные данные посредством компактных описаний, главным образом с использованием естественного языка. Вместе с тем точное отражение тонкозернистых пространственных структур и временной динамики в естественном языке часто приводит к длительному и потенциально двусмысленному описанию. В этой работе мы исследуем код как Video Caption — парадигму, в которой осуществимые программы служат дополнительным представлением визуального контента посредством графических примитивов, правил компоновки и функций времени. Для изучения вопроса о том, действительно ли заголовки кодов сохраняют видеоинформацию, мы сравниваем их с естественными заглавными субтитрами на внизу вопросов и задач по восстановлению видеозаписей. Наши результаты показывают, что заголовки кодов достигают высшей точности рассуждений и верности реконструкции. Несмотря на эти преимущества, реализация потенциала субтитров кода зависит от того, смогут ли нынешние модели мультимодальных крупных языков (MLM) генерировать верные заголовки кодов. Для систематической оценки этого потенциала мы введем " Code Cap-Bench &qt; , который состоит из 323 видеоматериалов, охватывающих пять категорий структурированного 2D контента, наряду с тонкими аннотациями и многоуровневой…