Учиться чему доверять в мультимодальном обучении под контролем шума

arXiv: 261 010.1057v1 Вид уведомления: новое резюме: процессы смешанной классификации и соотносится с информацией, полученной в различных формах для получения более точных прогнозов. Вместе с тем существующие методы, как правило, основываются на высококачественных наземной этикетках, которые трудно получить в реальных сценариях. В то время как методы отбора проб для обучения с шумными знаками призваны правильно идентифицировать помеченные примеры из шумных данных, традиционные методы ориентированы главным образом на одновидовые параметры и не в полной мере используют мультимодальную информацию. Это побуждает нас к созданию более надежного детектора шума в процессе мультимодального обучения. С этой целью мы теоретически анализируем взаимосвязь между структурой представления и способностью обнаружения шума. На основе этого анализа мы предлагаем РЕФИН, которая представляет собой систему обнаружения мультимодального шума от маркировки и в которой совместно используются сплавленные и одновидовые изображения для выявления шума от этикетки. В частности, REFINE создает дискриминационные эйговидители с помощью дискриминирующих аналогов