Что остаётся в добре? " OoodConptBench for Open-World concerning in Vision - Language Models &qt;

arXiv: 261 030.33564v1 Annualce Type: New Brieflow: В эпоху крупномасштабных предварительно подготовленных моделей нижний ток обобщения все более размыл границу между известными и неизвестными понятиями. Однако текущие оценки не позволяют напрямую определить, какие концепции открытого мира могут распознавать различные модели языка зрения. Для изучения этой проблемы мы введем систему ODCconceptBench, иерархическую основу для признания концепции открытого мира на парах концепций изображения. Полный базовый набор (L1) содержит 30 752 изображения, а более сложный поднабор (L2) — 14 285 изображений. Этот контрольный показатель охватывает 560 концептуальных фраз по семи категориям открытого мира. Мы оцениваем 37 моделей языка зрения в течение года выпуска, модели семейства и варианта. Мы получили три главных вывода. Во-первых, по всем 37 модельным моделям показатель определения целей ниже на L2, чем на L1. Во-вторых, более поздние модели не обязательно обеспечивают большее признание концепции открытого мира. В-третьих, увеличение общего признания не означает c