ДИФЛЕТ: Быстрый двигатель для диффузионных трансформаторов на трейниуме AWS

arXiv: 261 020.23047v1 Аннот: кросс-бюллетень: на AWS Trainium-2 каждый компонент диспонируемой модели работает как программа, составленная заблаговременно для фиксированных форм, в то время как трубопроводы различаются между моделями, оперативной протяженностью запросов и решениями о стыковке по всем деноминирующим шагам. Мы представляем Difflet, сервисный двигатель с пятью трубопроводами модели, в которых имеется одна компиляция, совместное внимание распределяется между ядрами по головке внимания и принимающий контроллер решает на каждом денозирующем шаге, управлять ли джентльменом или повторно использовать его предыдущий выход. Небольшой зонд-программа вычисляет кеширующий сигнал на устройстве и возвращает одно число за шаг, а процесс резидентной модели поддерживает каждую программу загружаемой через запрос. В пяти семействах с изображением и видеомодели, запутанное внимание ускоряет шаги джентльменов на 1,2-4.3x по той же системе с использованием внимания PyTorch/XLA, а при 32,8k визуальные символы это единственное внимание, которое компилируется. В четырех из пяти моделей резидент обслуживает 1,5-3,4x быстрее th