LadderEdit: Редактирование остаточной компрессии уровня памяти для эффективного редактирования ММ на протяжении всей жизни
arXiv:2610.1160v1 Annuate Type: New Habrial: Life Edvision of ILM требует хранения тысяч редакторов после приобретения. Широко применяемое семейство подходов прикрепляет один адаптер LORA на редактирование, который сохраняет поведение, но линейно растет в хранилище. Для решения этой задачи мы предлагаем метод LadderEdit, который сжимает каждый адаптер Лора после его приобретения. Каждый редактор сначала хранится на низком уровне в качестве дешевого рисунка. Затем мы проверим, удовлетворяет ли этот рисунок перезаписи, обобщения и локальный контракт на зондирование. Редактирование, которое проходит, сохраняет рисунок; те, кто не справляется, повышаются до более высокого ранга вдоль лестницы до тех пор, пока контракт не будет заключен. Поскольку в каждом редактировании сохраняется некоторое представительство, охват поддерживается и только жёсткие редакторы поглощают больше званий. Через Zsre, ConferFact и WikiBigEdit контрольные показатели по LLAMA-3-8B, Mistral-7B и Qwen2.5-7B, LadderEdit следы точный хранилище ЛоРА на 5,2x меньше памяти и остаются эффективными при 50 000 последовательных редакторов.
