Когда указатели становятся профайлированными: социальные стереотипы и отказ в текстово-стержневых визуальных кодеров
arXiv: 2610.35017v1 Аннонс Тип: новое резюме: текстово-руководимые визуальные кодеры обусловливают наличие замороженного Vision Transformer на естественном языке и в точке, соответствующей области изображения, создавая быстро кондиционированные тепловые карты и характеристики. Мы проверяем выпущенную модель SteerViT и обнаруживаем, что ее рулевой интерфейс превращается в языковую ссылку на демографическое профилирование. На контрфактических мультфильмах и реальных фотографиях с несколькими лицами "человек" выбирает мужчину чаще, чем базовая доля; криминальные слова отбирают чернокожих более часто, чем профессиональные слова; "мужчина" среди четырех женщин выбирает чёрную женщину 75,6 процента того времени на SocialCunterfactuals, а "обезьянка" - черных. Ни один из них не находится в безудержном положении, и преступное сообщество не входит в замороженный текст-интерферентор; эффект расы растет с силой рулевого управления и проникает через последние два слоя насаждения: придавая импульс только этим слоям воспроизводит их. Четыре другие модели заземления, C
