Рейнер: Переосмысление временных рядов Трансформеров с помощью анализа репрезентативности и прогрессивного декодирования

arXiv: 261 030 67003v1 Annualce Type: New Humber: Multiverate временны́е ряды, проецирующиеся с помощью мультивариантных временных рядов, играют важнейшую роль в веб- и киберфизических системах, где крупномасштабные услуги и инфраструктура IoT генерируют сложные временные данные. Трансформационные модели достигли высоких эмпирических показателей в этой области, однако принципы, регулирующие экспрессивную способность их обучаемых представлений, по-прежнему недостаточно понимаются. Кроме того, многие существующие модели основываются на упрощенных стратегиях декодирования, включая независимое от канала моделирование и прямые головки проекций, что ограничивает их способность фиксировать сложную многовариантную динамику. Для решения этих задач мы предлагаем RankForper, новую архитектуру энкодера для многовариантного прогнозирования временных рядов. Мы создаём систему анализа на основе рейтинга для изучения того, как символизация, внедрение и дизайны внимания влияют на репрезентативность временных рядов Трансформеров. Наш анализ показывает, что запятая увеличивает горшок