Компьютерная наука > Машинное обучение [представлено 9 октября 2026 года] Название: "О проектном пространстве моделей языка непрерывного диффузирования" Вид HTML (экспериментальный) Резюме: Постоянные модели языка распространения (CDLM) обещают привнести преимущества моделирования постоянного потока в язык, включая ускоренный отбор проб и контролируемое производство. Поле быстро росло, и возможности CDLM стали сравниваться с возможностями дискретной диффузии. Однако, в отличие от таких постоянных механизмов как изображения или видеозаписи, наше понимание рычагов, которые важны при обучении CDLM, остается ограниченным. В этой работе мы сосредоточиваем внимание на двух из этих рычагов, а именно: самоснабжении и внедрении геометрии, и проливаем свет на некоторые механизмы, которые стоят за ними, что в свою очередь предполагает более дешевые и эффективные конструкции. Мы начинаем с того, что самосдачу исправляют несоответствие между поездом и приступами, подвергая модель зримым состояниям, которые в противном случае редки во время подготовки. Эти выгоды могут быть возмещены без дополнительного пропуска вперёд с помощью двухуровневого интерполанта, примеченного $\matrm {DoubleCat} долларов, что повышает точность TinyGSM более чем три раза. Самообслуживание также помогает распознавать символы, доминирующие в крупном классе Гауссианских долларов (unicode {x2013}$, известном как идентифицируемость символов. Для непосредственного решения этой проблемы мы введем дискретное…
В проектном пространстве для постоянных диффузионных моделей
arXiv: 261 010.13834v1 Аннонс Тип: новое резюме: модели языка непрерывного распространения (МОДЦ) обещают привнести преимущества моделирования постоянного потока в язык, включая ускоренный отбор проб и контролируемое производство. Поле быстро росло, и возможности CDLM стали сравниваться с возможностями дискретной диффузии. Однако, в отличие от таких постоянных механизмов как изображения или видеозаписи, наше понимание рычагов, которые важны при обучении CDLM, остается ограниченным. В этой работе мы сосредоточиваем внимание на двух из этих рычагов, а именно: самоснабжении и внедрении геометрии, и проливаем свет на некоторые механизмы, которые стоят за ними, что в свою очередь предполагает более дешевые и эффективные конструкции. Мы начинаем с того, что самосдачу исправляют несоответствие между поездом и приступами, подвергая модель зримым состояниям, которые в противном случае редки во время подготовки. Эти выгоды могут быть возмещены без дополнительного пропуска вперёд с помощью двухуровневого интерполятора, примеченного $\matrm {DoubleCat} долларов, что повышает точность TinyGSM