Скамейка КУЛЬТУРЕ: Контрольный параметр для оценки языковой модели в корейском культурном контексте
arXiv: 2412.07251v1 Annuature Type: Cross Brieft: Большие языковые модели продемонстрировали значительное повышение эффективности работы в различных областях. Однако сложность их оценки возрастает, поскольку эти модели создают более свободно и согласованное содержание. Нынешние многоязычные контрольные показатели часто используют переведенные на английский язык версии, которые могут включать западные культурные предрассудки, не позволяющие точно оценить другие языки и культуры. Для устранения этого пробела в научных исследованиях мы представляем Коллегию КУЛЬТУРЕ, систему оценки, специально разработанную для корейской культуры и содержащую наборы культурных новостей, идиомов и поэзии. Она предназначена для оценки способности языковых моделей понимать и рассуждать на уровне слова, предложения и пункта. С помощью Коллегии КУЛЬТУРЕ мы провели оценку возможностей моделей, подготовленных с различными языками Corpora, и всесторонне проанализировали результаты. Результаты показывают, что еще существуют значительные возможности для совершенствования структуры моделей.