ФИГЛЕКС: Совместное назначение акселератора для комбинированной обработки данных ГЕММ с низким уровнем КВП LLM

arXiv: 261 030,30480v 1 Annualce Type: кросс-бюллетень: только в случае квантизации веса активация LLM сохраняется в плавучей точке и хранит весы как низкобитные целые группы, превращая доминирующую рабочую нагрузку в общее умножение матриц (PF-INT). Последние квантизаторы достигают 2-3-битного среднего значения с смешанной точностью, но аппаратное обеспечение не держится в темпе: GPU деквантируют весы до FP16 до того, как tensor-cread mus-accompulated и битпараллели FP-INT работают при одноразовой точности веса, так что меньше бит сохраняет память, а не вычисления. В этом документе мы представляем FIGFLEX, проект алгоритма-аппаратуры, совместно разработанный ускорителем смешанной точности, чей битпараллельный патрубок данных проходит через диапазон по мере падения точности. FFGLEX представляет 1) перезадачу умножения FP-INT с помощью добавления радикса-4, которое преобразует умножение в унифицированное и точно гибкое сокращение части продукта и примерно вдвое меньше частичных продуктов вместе с новой оптимизацией INT3, которая восстановит холостой процесс передачи данных r