Хрупкость температуры и условные преимущества отбора проб в результате сокращения выбросов

arXiv: 26009.15476v1 Annuales Type: New Habrit: Major Lange Models генерирует текст путем отбора каждого символа из прогнозируемого распределения, и температурный параметр определяет, насколько далеко отвлечение от наиболее вероятных символов. Пробоотборники для отбора проб, такие как верхняя р и мин-р, удаляют наименее вероятные символы перед рисунком, с тем чтобы отбор проб при высокой температуре оставался последовательным. Повышение точности данных по этим системам объясняется температурой 1,5-3, а по умолчанию - частотностью 0,6-1.0. Изменяют ли они точность при этих дефолтах и для каких моделей не измерялись. Мы проверяем тринадцать моделей открытого веса на GSM8K и MMLU-Pro при температурах 0,7, 1.0 и 1.3 в одном контролируемом трубопроводе, десять из которых находятся под 8 декодированием. Шесть из тринадцати моделей теряют 17-38 точек точности на MMLU-Pro от 0,7 до 1,3, а остальные семь теряют максимум 10. Утраченная точность исходит от поколений, которые бегают до символического предела или никогда не дают ответа. Эти повтор