ImgMT: Набор данных для оценки текстового перевода на базе Википедии

arXiv: 261 030,35416v 1 Annuales Type: New Habstrate: Text-in-image Translation имеет целью перевод всего текстового контента, встроенного в изображение. В Text Image Translation (TIT) выходный текст переводится; In-Immage Machine Transport (IIMT) также возвращает перевод обратно в изображение. Мы представляем ImgMT, массив многоязыковых данных и эталонные данные из местных иллюстраций SVG на Wikimedia Commons с акцентом на диаграммы, карты и инфографику. ImgMT содержит 35 612 гармонизированных пар изображений, сгруппированных в 1855 наборах изображений, охватывающих 129 языков, 20+ систем письма и 4886 языковых пар. Мы предлагаем многоуровневый протокол оценки, в котором измерялись бы точность поиска текстового региона с точки зрения источника и точности OCR наряду с качеством письменного перевода с учетом целевых показателей. Мы сравниваем несколько моделей мультимодальных крупных языков и специализированную систему TIT в англоязычных параметрах на английском языке, а также обнаруживаем, что система исходных языков и письменности существенно влияет на качество ТИТ. Наконец, мы показываем, что ImgMT