Интерфейсы и модули: масштабное представление для изучения веса и пространства в рамках различных архитектуры

arXiv: 261.20.2.1995v1 Annualce Type: New Humanitary: Walm-Space Учеба в различных архитектурах требует представления, которые уважают параметры симметрии и масштаб крупных сетей. Существующие равномерные тендерные кодеры требуют архитектурных симметрических спецификаций, в то время как нейронные графики делают глобальное внимание дорогостоящим. Мы введем напечатанный график, организованный вокруг совместных действий по координации и оценке. Его узлы, называемые интерфейсами, представляют собой координатные пространства, связующие топоры которых должны быть перемешаны друг с другом; операционные спектакли, которые называются модулями, формируют напечатанные гиперведи. Компилятор получает этот график от поддерживаемых PyTorch моделей с точным восстановлением коэффициентов перестановки, определяемых его ограничениями. Универсальный Весовой Энкодер (UWE) сочетает местные равномерные обновления параметров с глобальным вниманием к инвариантным резюме интерфейсов. Небольшое количество интерфейсов делает глобальное внимание практичным, и единый процесс обработки различных поддерживаемых архитектур. UWE со мной.