Внимание, уделяемое энтропии за пределами Softmax и Entmax: Каниадакис и операторы взаимного-симметрического режима Абэ
arXiv: 2602.08216v3 Annuates Type: заменить резюме: Мы привлекаем два оператора внимания из общих статистических данных. Энтропия Каньядакис обеспечивает полную нормализацию, вес и низкая чувствительность которых распадаются алгебраически, а не экспоненциально как в Softmax или точно по усеченной…