Компьютерная наука > Компютерное видение и распознавание шаблонов [представлено 26 октября 2026 года] Название: Обучение чтению Брайля: Контрольные показатели и повышение способности распознавания шрифта Брайла в VLMS Вид HTML (экспериментальный) Резюме: Несмотря на быстрый прогресс в визуальном понимании и транскрипте документов, современные модели языка зрения (VLM) борются с фундаментальной задачей доступности: чтение Брайли из изображений. Мы введем Брайля Бэнча, ручной набор из 259 реальных картинок первого и второго классов. Мы оцениваем защищенные правами собственности, открытые в весе, специализированные системы OCR и мультимодальные системы с использованием инструментов и считаем, что отдельные модели общего назначения плохо работают непосредственно при трансплантации изображений Брайля, тогда как системы с помощью инструментов функционируют гораздо лучше. Мы проектируем синтетическое поколение Брайля с различными конфигурациями и искажением изображений. Модель 2B VLM, тренированная по нашим синтетическим данным, достигает 87% точного совпадения на первом и 61% на втором классе Брайля Бэнч, превосходя автономных VLD и достигая наивысшего уровня соответствующего балла среди оцениваемых систем. Мы далее продемонстрировали, что высокая точность данных о подтверждении достоверности результатов синтетического анализа не гарантирует высокой точности реальных фотографий в наших экспериментах: модели, подготовленные на основе ранее полученных синтетических данных, достигают…
Учиться читать Брайля: определение критериев и повышение способности распознавать шрифт Брайла
arXiv:2610.36195v1 Annualce Type: New High Brieft: Несмотря на быстрый прогресс в визуальном понимании и записи документов, современные модели языка зрения (VLM) борются с фундаментальной задачей доступности: чтение Брайля из изображений. Мы введем Брайля Бэнча, ручной набор из 259 реальных картинок первого и второго классов. Мы оцениваем защищенные правами собственности, открытые в весе, специализированные системы OCR и мультимодальные системы с использованием инструментов и считаем, что отдельные модели общего назначения плохо работают непосредственно при трансплантации изображений Брайля, тогда как системы с помощью инструментов функционируют гораздо лучше. Мы проектируем синтетическое поколение Брайля с различными конфигурациями и искажением изображений. Модель 2B VLM, тренированная по нашим синтетическим данным, достигает 87% точного совпадения на первом и 61% на втором классе Брайля Бэнч, превосходя автономных VLD и достигая наивысшего уровня соответствующего балла среди оцениваемых систем. Мы далее показываем, что высокая точность синтетических данных о проверке достоверности не гарантирует