Количественные границы обобщения для мульти-лайерных трансформеров: несколько длинных стрингов могут победить многих коротких

arXiv: 261 0355715v1 Annuales Type: cross Brieft: Transformer Language Models демонстрирует удивительную способность к обобщению более сложных проблем, чем те из них, которые встречаются в процессе подготовки. Однако теоретическое понимание этого явления по-прежнему отстает. В отличие от большинства моделей машинного обучения, возможности для обобщения трансформаторов по своей сути требуют рассмотрения двух осей. С одной стороны, необходимо изучить недистрибьюторскую статистику обобщения, которая касается способности модели расширить функцию от учебных образцов до новых образцов того же распределения. С другой стороны, с учетом последовательного характера языковых данных необходимо также рассмотреть вопрос об обобщении по длине, что свидетельствует о том, может ли модель, обученная на вводе определенной длины, экстраполироваться на более продолжительные. Эти два понятия в основном изучаются отдельно и остаются открытыми для их взаимодействия. В этой работе мы проводим совместное рассмотрение обеих осей для фиксированных и точных трансформаторов. Мы даём общие сведения.