Множество комнат на среднем уровне: открытие возможностей для работы в кластере ГПС с помощью мелкого мониторинга

arXiv: 261 0303629v1 Annuales Type: New Humber Abstract: GPU-кластеры стали важными компьютерными ресурсами для ИИ и научных исследований в академических кругах и промышленности. Однако их высокая стоимость и растущий спрос часто приводят к длительным задержкам в очереди. Хотя предыдущие усилия по мониторингу осуществлялись на частотах второго или минимального уровня, они главным образом основывались на графике работы кластеров и не содержали подробной информации, необходимой для оптимизации использования ГПС. В настоящем документе представлено углубленное исследование блока университетских исследований GPU, в ходе которого проводится анализ использования ресурсов через интервалы 100 мс. Мы разработали инструмент мониторинга легкого веса, который позволяет библиотеке DCGM Nvidia зафиксировать тонкозернистые «комплексные» метрики в GPU. Наш инструмент, развертываемый на кластере с 89 узлами и 319 ГПС, собирал данные в течение нескольких месяцев. Настоящий документ посвящен 10-дневному периоду, когда 150 пользователей из 12 департаментов представили 7 399 рабочих мест. Наше исследование позволяет сделать три основных вывода: 1) кластер ГПС обнаруживает значительные