Хабр
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache
В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду результаты почти совпали: 0,52 у обычного round-robin и...
Хабр
