Путь: Аналитическое моделирование ГЕММ для процессов

arXiv: 261 030,34914v2 Тип уведомления: заменить перекрестное резюме: внедрение высокоэффективных общих матричных мультипликаций (ГЕММ) зависит от разбивки ГОММ на тщательно выбранную плитку для достижения пиковых показателей. Мы представляем Waypoint, новую аналитическую модель для автоматического определения оптимального размера плитки для данной формы аппаратных средств и вводной матрицы. "Путь" оценивает достижимые результаты для выбора плитки, улавливая все архитектурные эффекты, включая взаимосвязи с иерархией памяти, параллелизмом на уровне инструкций и многослойным протектором. Используя оценки как опосредованное средство, мы ищем пространство возможных размеров плиток для определения того, кто обеспечивает максимальную производительность. Кроме того, Waypoint помогает разработчикам аппаратных средств оценивать реалистичную эффективность экспериментальной оптимизации аппаратного обеспечения. Мы строим новую библиотеку GEMM OPAM для процессоров, которая использует Waypoint для автоматического разрушения GHMM и достижения результатов, которые соответствуют современным библиотекам ГЕММ и помогают ускорить LLM.