" FodelSlice: Architecture for LLM-инструменты для системы TelcoWide-Area
arXiv: 261 030,32638v 1 Annuaire Type: recver Brief: LLM Plain все чаще используется в качестве основного сервиса для общеорганизационных и интерактивных прикладных программ, однако суверенитет, соблюдение требований о соблюдении, запоздание и требования к месторасположению ресурсов могут ограничить пригодность централизованного развертывания облаков. Для устранения этих трудностей операторы телекомпании предлагают географически распределенные вычисления и инфраструктуру сети. Вместе с тем существующие системы обслуживания ЛУЗР предназначены для тесно объединенных центров данных и оказывают ограниченную поддержку в координации географически распределенных и неоднородных ресурсов. Мы представляем " InferSlice &qt; , справочную архитектуру для ориентированного на уровень обслуживания (SLO) вывода LLM в отношении инфраструктуры телко, объединяющей разрезы сетей, раздел GPU, эластичные сервисные работы и консервируемость. Под руководством БТ в сотрудничестве с Бристольским университетом и НВИДИА, а также на базе национальной широкомасштабной сети Соединенного Королевства (ВАН) InferSlice оценивается по принципу дифференциации услуг acros