Когда визуальных доказательств недостаточно: как инструкции, после обучения и внутренние активации формируют отказ в моделях смешанных языков
arXiv:2610.37430v1 Анонс Тип: новое резюме: для надежного использования модели мультимодальных больших языков (MLMs) должны признавать, что изображение не дает достаточных доказательств для ответа на вопрос и утаивает неподтвержденные ответы. Вместе с тем отказ сам по себе не обязательно является свидетельством такого признания: модели могут отказываться из-за других ограничений безопасности или без идентификации недостающих доказательств. Мы изучаем вопрос о том, каким образом отказ от ответов на вопросы визуального характера определяется тремя источниками контроля: инструкциями в отношении времени принятия решений, послеучебными мероприятиями и внутренними действиями. В рамках трех МЗЛ, установленных в качестве контрольного показателя MoHoBench, мы систематически манипулируем смыслом и размещением инструкций об отказе, сопоставляем полученные после прохождения обучения под наблюдением и с учетом преференций и вмешиваемся в направление активации отказа на основе естественных ответов и отказов. Мы считаем, что отказ весьма чувствителен как к значению, так и по местоположению инструкций с изменениями в модели на sa.
