От параллелизма до дивергенции: изучение номинальных строений языковых моделей

Компьютерная наука > Расчет и язык [представлен 15 октября 2026 года] Название: От параллелизма к дивергенции: Языковые модели обучения номинальным действиям в HTML-обзора PDF (экспериментальный) Резюме: Действия номинальных строений (АНК) выражают события в номинальной форме, с их проставлениями на основе схем, содержащихся в клаузулах или обычных существительных выражениях. В настоящем документе мы изучаем вопрос о том, как различные грамматические конфигурации влияют на изучение языковыми моделями АНК и связанных с ними конструкций, а также каким образом эти предпочтения в обучении сопоставляются с типологическими распределениями на естественных языках. Мы используем грамматически усовершенствованный метод для построения синтетического корпуса, который сочетает общий семантический вклад естественной корпоры и вычислительную грамматику. Мы строим 96 целевых языков, которые различаются по порядку слов в клаузуле, порядку строк, согласованию, системе дополнения и стратегии АНК. Для каждого языка мы тренируем GPT-2-малые модели с нуля и оцениваем их на основе целевых минимальных пар, охватывающих 34 грамматических явления. Результаты показывают типологические параллели в конфигурациях базовых клаузул, но различия в дополнительных системах и стратегиях АНК, при этом модели также изучают сочетания редких или непроверенных на естественных языках. Такое частичное согласование позволяет предположить, что естественный языковой состав населения может отражать как общее давление на…