Специализация, разнообразие и расширение масштабов использования детских языков

arXiv: 261 030,3679v 1 Annualce Type: кросс-бюллетень. Современные языковые модели обучаются гораздо больше языка, чем дети, но мы знаем намного меньше о том, как учиться на небольших натуралистических наборах данных. Мы обучаем небольшие модели GPT-2 по стенограммам выступлений с детьми на основе плотных домашних записей (BabyView) и синтетического диалога, ориентированного на детей (Тинидиалоги), в зависимости от количества, источника и разнообразия данных о профессиональной подготовке. Модели, подготовленные по языковой среде одного ребенка, предсказывают, что окружающая среда значительно лучше окружающей среды других детей. Большая часть этой специализации является лексической и распределительной: простая пятиграммовая модель воспроизводит трассу ребенка (r=91). Подготовка по данным, получаемым от нескольких детей, явно улучшает прогнозирование общего языка содержания под стражей в сравнении с подготовкой по вопросам вклада одного ребенка без столь же четкого улучшения грамматических показателей. В пределах размеров данных натуралистические и синтетические учебные материалы также производят различные грамматические и лексики