Cubit: Token Mixer с регрессией Kernel Ridge
arXiv:2605.06501v3 С момента своего появления в 2017 году Transformer стал одной из наиболее широко распространенных архитектур в современном глубоком обучении. Несмотря на обширные усилия по улучшению позиционного кодирования, механизмов внимания и сетей пересылки, основным механизмом смешивания…