Реклама

SchemaFill: Эффективный набор инструментов LLM с помощью Slot-Parallel Speculative Decoding

#SchemaFill #Эффективный #Slot-Parallel #Speculative #Decoding

arXiv: 2610,07086v 1 Annualce Type: новый резюме: агенты LLM взаимодействуют с внешними системами, генерируя структурированные звонки. С учетом запроса пользователя, контекста разговора и каталога схем инструментов модель вызова инструментов должна выбрать инструменты и генерировать их аргументы,…