Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском железе. Сегодня поговорим о том, как моя лаборатория доросла до серверной платформы и двух CMP 50HX с 20 ГБ видеопамяти каждая.
С локальными LLM я пока разбираюсь и хочу поделиться тем, что получилось: от покупки карт и неудачного первого запуска до настройки сервера и замеров. Кому интересна такая затея — добро пожаловать под кат.
Часть 1. С чего всё началось
Итак, что за CMP 50HX? Это майнинговая карта NVIDIA на кристалле TU102 — родственница RTX 2080 Ti, но с своими ограничениями. В штатном варианте у неё 10 ГБ видеопамяти, а у карт, о которых пойдёт речь, исходно был ограничен и интерфейс PCIe. Вот её подробная спецификация.
