Отбор канала для разкодировки смеси экспертов
arXiv: 261 030.37386v 1 Annuales Type: новый резюме: модели смеси экспертов (МОС) в меблированном виде загружены через погружаемый экспертный вес из памяти во время интерактивной декодации при небольших размерах партии. Поскольку большинство промежуточных каналов в специалисте по маршруту мало что делает для какого-либо отдельного символа, переключатели канала предсказывают, какие каналы важны, и читают только их весы, обычно сохраняя каналы выше порогового значения, калиброванного на офлайновых данных. Мы показываем, что выбор канала не нуждается в калибровочных данных. Во-первых, калиброванный пороговый показатель не определяет, сколько читает селектор, поскольку число проходящих через него каналов варьируется в зависимости от исходных параметров; Прокс с пороговыми значениями, рассчитанными на 18%, на самом деле означает только 12,9 процента по всем нашим контрольным показателям. Во-вторых, топ-k поддерживает k каждого символа с наиболее высоким рейтингом каналов и не нуждается в калибровочных данных. При калиброванном бюджете версия с верхними кв. версией совпадает или сравнивает свои пороговые версии на одном и том же уровне в 40 из 43 сопоставлений при 13% и 18% бюджета, включая