Переосмысление компромисса между временным кодированием и нелинейным вычислением в модели языка скайкеринга
arXiv:2610 10933v1 Annuate Type: New Briew: Spiking Language Models сталкивается с компромиссом между представлением постоянных семантических характеристик по коротким окнам времени и сохранением дорогостоящих операций нелинейного внимания. Мы введём Спору, которая совместно проектирует коды скачков и операторов внимания. Двоичные временные весы, позволившие скачкам в долл. В Unipolar Binary Spiking (UBS) используются пороговые значения и резкий остаточный разлагающийся уровень для получения неотрицательных целых кодов; Biporal Binary Spekiing (BBCS) отделяет знаки и величины и изучает шкалу для подписанных активаций. Эти представления поддерживают аккумулирующие и пересменные продукты и целые экспонентные карты. С помощью четырех последовательных этапов, Spora достигает 76,6 среднего балла GLUE и 44,1 MCA Cola, улучшая по сравнению со SpikeLM соответственно на 1,2 и 6,2 очка. Расширение ББС на шесть этапов повышает эти показатели до 78,2 и 47.4. C
