Помимо ретриваля: совместный надзор и ранжирование смешанных документов для ответов на вопросы в учебнике

arXiv:2505.13520v2 Тип уведомления: заменить перекрестное резюме: ответ на вопрос из учебника (TQA) является сложной задачей, требующей толкования сложного мультимодального контекста. Несмотря на то, что последние достижения в целом повысили эффективность работы, они часто сталкиваются с трудностями в учебных заведениях, где важнейшее значение имеют точное согласование и поиск документов по конкретным задачам. В настоящем документе мы предлагаем новый подход к вопросу о мультимодальных учебниках, ответив на него путем введения механизма для улучшения семантических представлений посредством многоцелевой совместной подготовки кадров. Наша модель, совместное обучение с рентгеновским надзором для ответов на вопросы в учебниках (JETRTQA), представляет собой мультимодальную систему обучения, построенную на архитектуре ретривер-генератора, которая использует систему поиска и обновления поколения, при которой многофункциональная языковая модель генерирует ответы. ЯТАРТКА призвана повысить актуальность полученных документов в сложных образовательных контекстах. В отличие от традиционного приложения прямого балла