Характеристика диспетчерской системы WebGPU для LLM Infence через 4 поставщика GPU, три бэкенда и три просмотрера

arXiv: 2604.02344v2 Annuales Type: заменить резюме: проект веб-GPU, ориентированный на обеспечение безопасности, требует подтверждения каждого действия, которое объединяет многие небольшие диспетчерские системы в нейронной сети, но при этом реальная стоимость этих накладных расходов плохо характеризуется. Мы представляем систематическую характеристику диспетчерских накладок для LLM-схемы в формате 1 партии, охватывающей четырех поставщиков GPU (NVIDIA, AMD, Apple, Intel), двух местных реализаций (Dawn, wgpu- national) и трех браузеров (Chrome, Sfarhi, Firefox) и два размера моделей (Qwen2,5-0,5B и 1.5B). Наш основной вклад — это последовательная методология распределения, которая показывает наивные контрольные показатели по отдельным видам деятельности, завышенные на $sim-20\ времени. Реальные расходы на каждый отправочный отрезок, связанные только с накладными расходами по Вулканскому и Металлическому агентствам, составляют 24-36 млн. долл. США, в то время как общие накладных расходов по каждому виду деятельности, включая стоимость Python, составляют $95 ~ USD, что является решающим для оптимизации показателем. На Вулкане синтез ядра улучшает th