Стоит ли это побега? На глубине каскадов LLM

arXiv: 2605.06350v2 Annuales Type: заменить перекрестное резюме: LLM cascades, в котором дешевая модель откладывается на дорогостоящую модель с вопросами низкой уверенности широко используется для сокращения затрат на выводы. Учитывая совокупность моделей, практикующий должен решить, сколько моделей следует включать и где установить каждый порог отсрочки. Мы вычисляем условия оптимального характера первого порядка, показывающие, что при оптимальном соотношении ожидаемой точности к ожидаемым затратам по нижнему течению в пределах отсрочек равна доля. Местный поиск, основанный на этих условиях, в значительной степени соответствует исчерпывающему поиску. Мы также вычисляем личность, которая разлагает точность повышения на основе баллов из-за случайной эскалации в два термина AUROC. В рамках пяти контрольных показателей и девяти отсрочек, при этом последовательность моделей и пороговые значения оптимизированы из пула восьми моделей, двухмодельные каскады повышают среднюю точность испытательного набора по сравнению с выбором одной модели на 2,1 - 8,2 процентных пункта. Однако допущение более чем двух моделей не улучшает среднего испытательного набора ac