На пути к оптимизации поколения SQL с помощью Routing LLM

arXiv: 2411.043119v1 Аннонс Тип: перекрестное резюме: текст-SQL позволяет пользователям взаимодействовать с базами данных на естественном языке, упрощая доступ к структурированным данным. Несмотря на то, что высокоэффективные крупные языковые модели (ММС) достигают высокой точности при рассмотрении сложных вопросов, они сопряжены с ненужной латентностью и расходами в долларовом выражении для более простых. В настоящем документе мы введем первый подход к маршрутизации LLM для Text-SQL, который динамическо выбирает наиболее экономичный метод LLD, способный генерировать точные SQL по каждому запросу. Мы представляем две стратегии (на основе основных и классификационных данных), которые обеспечивают точность, сопоставимую с наиболее подходящим ОДЗЗ при одновременном сокращении расходов. Мы проектируем маршрутизаторы для облегчения обучения и эффективного вывода. В ходе наших экспериментов мы отмечаем практическую и объясняемую компромиссную процедуру с точностью-затратами на наборе данных BIRD.