Компьютерная наука > Расчет и язык [представлен 16 сентября 2026 года] Название: TeochewBench: A Human-Review Basic for Teochew Hanzi Translation View Abstract:Teucheew имеет обширное сообщество докладчиков и демонстрирует особые лексические, синтатические и прагматические характеристики, однако текстовые ресурсы для оценки крупных языковых моделей остаются ограниченными. Мы представляем TeochewBench, подсчитанный человеком контрольный показатель, включающий 300 выражений Teochew Hanzi для оценки перевода из Teоcheu Hanзи на китайский и английский языки. Этот набор данных охватывает пять категорий: основной словарь; повседневные предложения; выражения, характерные для теохью; тон, вежливость и контекст; и идиоматические, двусмысленные и культурные выражения. Один из ведущих рецензентов, говорящий на языке теохью, изучил все позиции в индивидуальном порядке и по мере необходимости пересмотрел их, а еще два докладчика, говорящих на языке тётеу, проверили выбранные позиции. Наша основная оценка охватывает 11 официальных моделей общего назначения, прошедших подготовку по итогам обзора набора данных в обоих направлениях перевода, что дает 6600 прогнозов. Два официальных базовых контрольно-пропускных пункта дают 1200 прогнозов для дополнительной диагностики, в результате чего общее число таких прогнозов составляет 13 моделей и 7 800. Кроме того, мы включим ханзи-копировальный контроль, который возвращает источник данных без изменений для оценки влияния совместного использования…
TeochewBench: Контрольный параметр для перевода Teochew Hanzi
arXiv:2609.18156v1 Annualce Type: New Humber: Teochew имеет значительное сообщество докладчиков и демонстрирует особые лексические, синтатические и прагматические особенности, однако текстовые ресурсы для оценки крупных языковых моделей по-прежнему ограничены. Мы представляем TeochewBench, подсчитанный человеком контрольный показатель, включающий 300 выражений Teochew Hanzi для оценки перевода из Teоcheu Hanзи на китайский и английский языки. Этот набор данных охватывает пять категорий: основной словарь; повседневные предложения; выражения, характерные для теохью; тон, вежливость и контекст; и идиоматические, двусмысленные и культурные выражения. Один из ведущих рецензентов, говорящий на языке теохью, изучил все позиции в индивидуальном порядке и по мере необходимости пересмотрел их, а еще два докладчика, говорящих на языке тётеу, проверили выбранные позиции. Наша основная оценка охватывает 11 официальных моделей общего назначения, прошедших подготовку по итогам обзора набора данных в обоих направлениях перевода, что дает 6600 прогнозов. Два официальных базовых контрольно-пропускных пункта дают 1200 прогнозов в отношении дополнительных