T2D: Проектирование и адаптация модели для эффективного спекуляции

arXiv:2610.34133v1 Annuate Type: New Express: Speculative decoding значительно ускоряет авторегрессивное формирование текстов в Больших Лингвистических моделях (LMM), но его эффективность во многом зависит от двух ключевых факторов: дистрибутивной увязки между проектом и целевой моделью, а также запоздалости проекта модели при заключении. Вместе с тем существующие подходы, как правило, предусматривают использование самостоятельно подготовленных небольших проектов моделей или направлены на переработку целевой модели в выбранную вручную архитектуру, что не позволяет четко уравновесить компромисс между проектом согласования моделей и эффективностью генерации символов. Для устранения этого пробела мы формулируем проект модели в качестве проблемы оптимизации и предлагаем Т2D - рамочную основу, которая формирует проекты моделей непосредственно на основе целевой модели с использованием структурированного серфинга и дистилляции знаний. Таким образом, T2D получает проекты моделей, которые совместно оптимизированы как для замеряемых запоздалости, так и для перекрестных потерь ответов целевой модели.