Легко предвосхищать, трудно рассчитать: пограничная зависимость находит вычисленные выходы, которые энтропируют промах

arXiv: 2610.11790v1 Annuate Type: New Humber-Surview: Byte Latent Transformer (BLT) byte transformer bays to plats и запускать свою большую глобальную модель один раз за пальцем. BLT начинает патч, где следующая энтропия маленькой модели высока, так что глобальная вычисления идет туда, куда следующий байт трудно предсказать. Мы показываем, что это правило имеет систематическое слепое пятно: позиции, тип которых является предсказуемым, но значение которых должно быть рассчитано, например число после "=" в рабочем математическом решении. В условиях жесткого бюджета энтропии композиции пропускают эти позиции, и точность на них рушится. В BLT-1B Meta с паттом начинается на 10% байтов, правило энтропии устанавливает запятую на 16% от расчетных результатов в GSM8K решений и получает 19,0% из них точно правильно; граница после каждого "=" при том же числе 51,8%, а Энтропия в сочетании со свободным от маркировки сигналом зависимости от границы получает 67,1% (по умолчанию 26% байт: 76,8%). Разрыв выживает, адаптируя BLT-1B к t