Меньше, но критичнее: сокращение зависимости от переходящих токенов для составления прогнозов временных рядов на основе трансформатора

arXiv:2503.06867v2 Annuales Type: заменить резюме: прогнозирование временных рядов (TSF) имеет важное значение в реальных прикладных программах. В последнее время методы, основанные на трансформаторе, позволили добиться высоких показателей эффективности за счет моделирования достоверных знаков с помощью механизмов привлечения внимания. Вместе с тем существующие методы обычно обучаются главным образом методам прогнозирования потерь погрешностей, что может привести к использованию моделей как критических, так и избыточных символических зависимостей. Такие излишние зависимости могут привнести не имеющую отношения к делу информацию и ослабить процесс обобщения. Для решения этой проблемы мы предлагаем простую, но эффективную стратегию отбора иждивенцев. В частности, благодаря совместному внедрению ограничения на энтропию внимания и ограничения погрешности прогнозирования модель может выявить меньшее число, но более критичная взаимозависимость и осуществлять прогнозирование на их основе, избегая тем самым вмешательства излишних зависимостей. Предлагаемый метод может быть легко распространен на различные модели ТФС, основанные на трансформаторе. Эксперименты на нескольких наборах данных ВФТ