Внимание, уделяемое энтропии за пределами Softmax и Entmax: Каниадакис и операторы взаимного-симметрического режима Абэ

#Внимание #Softmax #Entmax #Каниадакис #Annuates

arXiv: 2602.08216v3 Annuates Type: заменить резюме: Мы привлекаем два оператора внимания из общих статистических данных. Энтропия Каньядакис обеспечивает полную нормализацию, вес и низкая чувствительность которых распадаются алгебраически, а не экспоненциально как в Softmax или точно по усеченной…