Геометрические пространства знаний, парирование внимания и архитектуры
arXiv: 261 020.29526v 1 Annualce Type: New Brieflow: В настоящем документе мы предлагаем геометрический подход к привлечению механизмов внимания и изучению потенциальных новых архитектур трансформаторов. Мы начинаем с официального оформления понятий мира знаний и парирования внимания, а затем показываем, как эти рамки естественным образом ведут к архитектурам стандартного внимания, причинно-следственного внимания, линейного интереса, пристального внимания со стороны топора и периодических нейронных сетей. Наконец, мы введем несколько новых геометрических пространств, которые могут вдохновить новые нейронные сетевые архитектуры.