Адаптивные данные о макаланобисе
arXiv:2610.13261v1 Аннонс Тип: новое резюме: в настоящем документе мы предлагаем обратить внимание на кросс-диапатив Махаланобис (DAMCHA) - простой и эффективный механизм внимания, который обобщает многоглавое внимание через призму метрического обучения. Стандартная MHA имплицитно учится статическому, эвклидному сходству по голове, соответствующему диагональным блокам унифицированной межглавной метрической матрицы, отменяя все внедиагонные взаимодействия между головами. ДАМЧА решает эту проблему с помощью двух ключевых нововведений. Во-первых, она изучает полную межглавную метрическую матрицу, вызывающую сходство махаланобисов, которое явно отражает взаимодействие между головами за пределами ограниченной блоковой и диаметральной структуры MHA. Во-вторых, она определяет метрическую матрицу как функцию, зависящую от вводимых ресурсов и позволяющую геометрии внимания динамично адаптироваться к внутренней многослойной структуре данных вместо того, чтобы оставаться фиксированной после обучения. Мы далее внедряем принципиальные стратегии регулирования, большинство нотаб