DynEdit: Динамическая энтропия, направленная на последовательное редактирование крупных языковых моделей

arXiv: 261 030,34768v 1 Annuales Type: New Express: Unowledge Editing имеет целью обновить устаревшие или неправильные знания в крупных языковых моделях без полной переподготовки. Существующие методы редактирования параметров по-прежнему ограничены в отношении знаний о длительном порядке: редакторы с одним пунктом не обеспечивают достаточного охвата расширенных целевых показателей, а постоянные редакторы на основе кусочков распределяют усилия по редактированию равномерно через жесткие заранее определенные окна, не делая приоритезации сложных и информационных символов. В этой работе мы показываем, что символическая энтропия тесно связана как с трудностями редактирования, так и семантической значимостью: регионы высокой интенсивности труднее редактировать и зачастую содержат основное фактическое содержание. Исходя из этого наблюдения, мы предлагаем DynEdit - динамические рамки для долгосрочного редактирования знаний. ДинЭдит использует энтропию на уровне символов для управления неунифицированным скользящим движением, увеличивая охват труднодоступных районов с высокой интенсивностью развития и далее применяет оптимизацию на основе энтробии в целях усиления обновления информации