К контрольному показателю для толкования кодекса противопожарной безопасности в промышленности АЭС Гонконга

arXiv:2610.16127v1 Тип уведомления: перекрестное резюме: Большие языковые модели (LMS) все чаще изучаются в области архитектуры, инженерии и строительства (AEC), однако их надежность с точки зрения соблюдения нормативных требований остается неопределенной. В этом исследовании мы оцениваем эффективность работы МЛМ по гонконгским противопожарным кодексам. В сотрудничестве с экспертами по доменам мы создали набор местных базовых данных, включающий как вопросы с множественными ответами (МКВ), так и открытые вопросы (ОВЭ) для оценки 12 широко используемых моделей, основанных на патентной собственности, и модели с открытым исходным кодом. Наши результаты показывают, что высокоэффективные запатентованные модели достигают 80-90% точности на MCQ, в то время как модели с открытыми исходными кодами обычно отстают. Вместе с тем, что касается оценки открытого состава, то экспертные человеческие оценки показывают диапазон точности лишь в 50-70%, что свидетельствует о том, что МЛМ все еще имеют значительные возможности для улучшения специализированных задач по обеспечению соблюдения.