Смоделирование языка - это компрессия монотона.
arXiv: 261 010.1031v1 Аннонс Тип: перекрестное резюме: давняя гипотеза в искусственном интеллекте и нейронаучных постулатах о том, что интеллект тесно связан с сжатием: способность эффективно сжимать информацию отражает способности, связанные с интеллектом и обучением. В самом деле, недавние экспериментальные работы подтверждают эту интуицию путем демонстрации связей между возможностями крупных языковых моделей (LMM) и их способностью компрессоров: например, Deletang et al. (ICLR'24) показывают, что МLМ могут использоваться в качестве мощных компрессорных устройств, а Хуанг и др. (COLM/24) свидетельствуют о том, что способность к сжатию МЛМ сильно коррелирует с их эффективностью на контрольных показателях знаний и рассуждений. В этой работе мы инициируем теоретическое исследование этой связи. Наш главный результат заключается в том, что MLM (официально моделируемые как следующие прогностические устройства) эквивалентны монотонным алгоритмам сжатия, а именно алгориям сжатия, где кодировка прок.
