Почему предподготовка не помогает делиться знаниями между людьми

arXiv: 2609,192991v1 Annuales Type: cross Brieft: Models крупных языков (LMS) добились значительного прогресса в обработке и моделировании многих языков. Однако в отличие от людей, говорящих на различных языках, они демонстрируют удивительно ограниченные возможности для передачи знаний на разных языках. Хотя это ограничение хорошо задокументировано, его происхождение в ходе многоязычной подготовки остается неясным. Мы готовим 360M- и 7B-параметры МЛМ и показываем, что плохое обобщение знаний на разных языках возникает во время предварительной подготовки и продолжает оставаться в рамках стандартных мероприятий. Чтобы изолировать его причину, мы используем контролируемую двуязычную предварительную подготовку с использованием двух копий одного языка, делая идентичный текст и символическую сегментацию, но отображая для разрозненных символических пространств. Мы считаем, что одного лишь разрозненных символов достаточно для разделения знаний даже между идентичными экземплярами того же языка и создания диссопутствующих символических пространств в качестве основополагающего барьера на пути обобщения знаний на разных языках. Руководствуясь этим пониманием, мы