Пределы надежности и масштабирования языковых моделей

arXiv:2607.14112v2 Тип уведомления: заменить резюме: крупные языковые модели (ММЛ) проходят подготовку и оцениваются как если бы для любой задачи, имеющей достаточно масштабный характер, была достигнута абсолютная надежность. Мы показываем, что это предположение является неоправданным с точки зрения информации и теории. Каждая задача в области регенерации имеет потолок надежности, который ни одна модель не может превышеть, определяемый тем, сколько неопределенности выпуска можно устранить из наблюдаемого контекста. Разрыв разлагается в растворимый компонент, который может быть склеен с дополнительным контекстом и субъективным компонентом, присущим двусмысленности задач. Авторегрессивное поколение еще больше ухудшает этот потолок со скоростью, регулируемой ядром зависимости задачи, которое категоризирует взаимные корреспонденции в выходе. На основе этих двух примитивных принципов мы выбираем первый принцип масштабирования закона, в котором результаты деятельности ЛМЗ ограничены дефицитным ресурсом: данными о подготовке кадров или возможностями моделирования. Этот закон восстанавливает действие закона Чинчилья в качестве особого случая и обеспечивает структурный отчет о том, когда масштаб улучшается