ТРУЗМ: Адаптивная временная интеграция для диффузионных языковых моделей
arXiv: 261 030,36940v1 Annuales Type: New Humber: Masked Displacement Language Models неоднократно вычисляют представления для неурегулированных жетонов, но обычные дюайзеры прямо не хранят эти представления для повторного использования на всех этапах. Мы введем Временную модель языка самокондиционного диффузирования (ТЛМ), которая позволяет каждой нерешенной позиции заниматься своей собственной историей скрытых представлений внутри замороженного дюноза. Это дает более поздний доступ к уже выполненным расчетам. В процессе подготовки используются самодельные траектории и простая перекрестно-антропическая цель для символов, вскрытых между последовательно отобранными этапами декодирования, а причинно-следственное время позволяет проводить параллельную оценку в ходе обучения. Что касается УЛАДА, то временные модули добавляют только приблизительно 0,84-процентные параметры подготовки. В рамках LLADA и Dream основное сравнение показывает, что до 7,15 долл. Т