Фаза прослушивания входных данных для моделей последовательности

arXiv: 261 010.12496v 1 Annuate Type: New Humber: Sequeence Models с фиксированным размером избегают квадратной стоимости внимания, но сталкиваются с выбором дизайна. Переход в зависимости от вводимого состояния дает зависящая от контента память за счет обучения на основе FFT, тогда как фиксированный переход сохраняет интегральный путь O(T Leg T) но читает память таким же образом для каждого ввода. Недавняя модель второго типа ResonatorLM читает банк осцилляторов, протекающих через фиксированную изученную фазу на голову. Мы делаем эту стадию считывания функции текущего символа, которая добавляет зависимость от ввода только к считке, сохраняет точность в перевоплощении и стоит на 0,2% больше параметров. Анализ неподготовленного банка показывает, что фаза действительно кодирует истекший период времени, но обычный символ падает ниже фона в пределах 2-8 шагов и ни один выбор демпинга не простирается на линейное восстановление за пределы примерно 16 знаков. В 6M-параметрических моделях уровня персонажей WikiText-2, в зависимости от вводимой фазы совпадает с оригинальным на th