Количественное значение с помощью SCAPE-T: Семантическая сложность из "Энкодер - только трансформатор"

arXiv: 261 030.33441v 1 Annualce Type: New Humber Abstract: Автоматизированная оценка семантической сложности по-прежнему недостаточно изучена в NLP, несмотря на важные прикладные программы в области языковой и интерпретируемости. В этом документе семантическая сложность определяется как длина кода, требуемая для уникального указания семантического значения текста и вводит его в действие через SCAPE-T — метрическую систему, созданную на основе трансформаторов только по закодеру. Существующие показатели либо читательских усилий моделей (чрезмерность, Лексические трудности), которые соотносятся с поверхностными характеристиками (длина слов, синтаксис) или непосредственно определяют параметры поверхности (коэффициент типа, частота слов). СКАП-Т непосредственно направлена на семаническую интеграцию путем сочетания трех подметок: i) обратновзвешенная самоконцентрация (связанная с самим собой), ii) концентрация CLS (определяемая по КСТ) и iii) межголовое избыточность (косинусовоподобный характер головы) при использовании агрегированного слоя; обучение на основе данных ограничивается корректировкой гиперпарометра для калибровки. В процессе разработки используются философские прозе против. MCTTS-sto