Компьютерные науки > Вычисление и язык [представлен 8 октября 2026 года] Название: DirectoryBench: Evaluation Multi-Dimensional Crisis Support in Крупноязычные модели Вид PDF HTML (экспериментальный) Резюме: модели Language были приняты быстрее, чем методы оценки, которые позволяют надежно оценить их риски, а растущая доля использования скорее влияет на результаты, нежели информативна. В рамках этой системы пользователи транспортных средств сообщают о случаях самоубийства и членовредительства (ССГ). Существующие контрольные показатели безопасности в основном касаются отказа, но отказ не является желательным поведением здесь; для обсуждения требуется существенная поддержка. Мы введем DresessBench, 718 английских разговоров с авторизованными клиниками пользователями по 23 подкатегориям SSH, каждая из которых сочетается со специфической рубрикой взвешенных атомных критериев по семи измерениям кризисной поддержки и реферативной реакции. Оценочный балл модели представляет собой средневзвешенное значение по критериям, которые удовлетворяют ее ответу и который следует читать непосредственно как часть требуемой медицинской помощи. Лучшие из 25 пограничных моделей удовлетворяют 88,4% взвешенных критериев, а медианная модель 71,4% по сравнению с 98,7 процента для клинических справочных данных, полученных на основе одних и тех же критериев. В 35,3 % разговоров, в которых модель отвечала всем критериям распознавания кризиса, она не смогла направить пользователя на помощь человека.…
" DrispessBench: Оценка многомерной кризисной поддержки в крупных языковых моделях
arXiv: 261 010.12758v 1 Annuaire Type: New Abstract: Language Models были приняты быстрее, чем методы оценки, которые позволяют надежно оценить риски и все более широкое использование информации влияет на ситуацию. В рамках этой системы пользователи транспортных средств сообщают о случаях самоубийства и членовредительства (ССГ). Существующие контрольные показатели безопасности в основном касаются отказа, но отказ не является желательным поведением здесь; для обсуждения требуется существенная поддержка. Мы введем DresessBench, 718 английских разговоров с авторизованными клиниками пользователями по 23 подкатегориям SSH, каждая из которых сочетается со специфической рубрикой взвешенных атомных критериев по семи измерениям кризисной поддержки и реферативной реакции. Оценочный балл модели представляет собой средневзвешенное значение по критериям, которые удовлетворяют ее ответу и который следует читать непосредственно как часть требуемой медицинской помощи. Лучшие из 25 пограничных моделей удовлетворяют 88,4% взвешенных критериев и медианной модели 71,4% по сравнению с 98,7% для клинических референтов
