SemLoc: Структурированная заземление свободноформированного LLM, объясняющее неправильное локализацию

arXiv: 2603 29109v2 Annuales Type: заменить кросс-бюллетень: Большие языковые модели (LMS) могут описывать, что должен вычислить код, но они делают это в свободном тексте. Такой текст не может быть сверен с исполнением программ, и в нем нет информации о том, правильно ли заявление. Мы представляем SemLoc, который превращает рассуждения LLM в выполнимые и поддающиеся проверке семантические ограничения. С структурированным семантическим заземлением LLM пишет каждое из свойств как ограничение в фиксированной категории, прикрепленное к якорю на графике кода, например переменного определения, ветки, петли или возврата. SemLoc вставляет каждое ограничение как проверку рабочего времени и проводит испытания, которые дают спектр семантического нарушения при прохождении тестов или их неисполнении. Проверка контрфактических данных затем зафиксирует код на якоре и повторно проводит испытания; пятно, которое ограничение предполагает считать проверенным только в том случае, если все тесты пройдут. Мы изучаем SemLoc на локализации неисправностей, где тесты служат оракулом для проверки, с четырьмя ММВ