Ошибка Difflusion заменяет скрытые весы: тренировка бинари-восьмых языков на нескольких битах в разрозненном государстве

arXiv: 261 0,34566v 1 Annualce Type: New Brieflook: Binary-good Language Models хранит один бит на вес, но тренировка их содержит полную латентную копию каждого веса плюс состояние Адама, около 96 дополнительных бит за весом, так что развернутая двоичная модель не может быть адаптирована к устройству, которое ее управляет. Мы заменяем скрытый вес 2-8-битным остаточным буфером, квантизированным стохастической округлением, который сокращает состояние подготовки на один вес с 97 бит до 3-9, вплоть до 19x меньше. В результате этого оптимизатор ошибок (ED) перемещается остаточную петлю изображения полутонна на траекторию обновления веса. Каждый буфер накапливает нереализованную часть каждого обновления и меняет вес, когда накопленное значение пересекает пороговый уровень, и он работает только тогда, когда его квантизация сетки имеет уровень точно на этом пороговом. Согласно этому правилу, 4-битные буферы соответствуют 8 битным буферам на двоичном многослойном контрольном параметре перцептрона и это же правило поднимает другой скрытый бесполетный оптимизатор Боп от 10-поина