Адаптация аналогового аппаратного обеспечения с помощью аномального оборудования
arXiv: 2610,05318v1 Annuale Type: New Humber: Analog in-Memory Uputing является перспективной платформой для выполнения на устройстве больших языковых моделей, поскольку она выполняет умножение матричных векторов (MVM) в памяти и параллельно с этим сокращая движение данных. Однако ограниченная точность преобразователей в цифровом и аналоге, уровень шума при вводе данных и концлагеря могут снизить точность модели, тогда как переподготовка моделей для устранения этих последствий может быть сопряжена с большими расходами. Мы разрабатываем оптимизирующий, агностически эффективный метод адаптации параметров на основе малогабаритной адаптации (LoRA), сохраняя предварительно подготовленные веса, хранящиеся в аналоговых массивах, при этом обучая весы LORA приспособлению к задачам и неидеальным характеристикам ниже по течению. Надежная адаптация требует ошибок при обработке как переднего, так и заднего МТС и обновления физического веса. Мы используем изменение вводимых ресурсов для сокращения ошибок, вызванных вводом MMV и обновления накопления, чтобы сохранить небольшие обновления до их программирования на устройствах конечного состояния. Через Llama-3.2-1
