Изучение синдромов внимания в трансформаторах, переводимых из дисфузии и авторегрессивных моделей

arXiv: 261 010.13337v 1 Объявление Тип: перекрестное резюме: Потрошители внимания - это символы или позиции, которые постоянно получают непропорциональное внимание массы часто сверх того, что их семантическое содержание предполагает. Несмотря на обширное изучение в крупных языковых моделях, их поведение и функциональная значимость для трансформаторов (T2I) по-прежнему практически не изучены. Для того чтобы заполнить этот пробел и лучше понять, как текст-образец трансформаторов распределяет и направляет внимание, мы изучаем это явление, связанное с тем, что трансформаторы по тексту к имитации пересекаются между моделями двунаправленного диффузирования и когнитивными авторегрессивными моделями. В частности, мы изучаем вопрос о том, существуют ли поглотители внимания, где они появляются и как они функционально влияют на поколение. Посредством систематического анализа внимания и целенаправленных мероприятий мы выясняем, что поглотители внимания возникают как в двухнаправленных диффузионных, так и авторегрессивных моделях, но проявляют различные модели. Авторегрессивная модель концентрирует внимание на первых и глобальных символах, в то время как t