Компьютерные науки > Расчеты и язык [представлен 8 октября 2026 года] Название: GeoFitBench-LLM: Контрольный параметр для оценки возможностей крупных языковых моделей в плане удовлетворения потребностей геоаналитических данных, связанных с геоаналитическими задачами. Это упущение имеет исключительно важное значение, поскольку ориентированные на поиск геоаналитические задачи невозможно обеспечить надежным образом без предварительного выявления необходимых наборов данных и ограничений. ГеоФитбенч-ЛУМ вводится в качестве контрольного показателя для оценки того, могут ли МЛМ определять наборы данных, вспомогательные ресурсы и трудности, обусловленные геоаналитическими запросами на естественных языках. Эталон построен по двум логичным параметрам: связь между Спатио-Темпоральным и семантическим заземлением, что отражает давние проблемы в поиске геопространственной информации и связанные с этим естественные языковые задачи. Требования в отношении установления истины закодированы в постоянной, независимой от поставщика схеме для воспроизводимой оценки идентификации ресурсов и спецификации уровня атрибутов. Эксперименты по семи моделям с минимальным числом стимулов указывают на то, что определение необходимых ресурсов зачастую является достижимым, при этом ГРП-5.4 предполагает достижение наилучших результатов за счет возвращения всего набора ресурсов в 66,67% от общего числа запросов о предоставлении контрольных показателей. Результаты далее свидетельствуют о том, что по мере…
GeoFitBench-LLM: Контрольный параметр для оценки возможностей крупных языковых моделей в плане удовлетворения потребностей в геоаналитических данных
arXiv: 2610.12669v1 Annualce Type: New Humber Abstract: Mainterial Language Models становится центральным элементом систем GeoAI, однако в их оценке редко учитываются потребности в геопространственных данных. Это упущение имеет исключительно важное значение, поскольку ориентированные на поиск геоаналитические задачи невозможно обеспечить надежным образом без предварительного выявления необходимых наборов данных и ограничений. ГеоФитбенч-ЛУМ вводится в качестве контрольного показателя для оценки того, могут ли МЛМ определять наборы данных, вспомогательные ресурсы и трудности, обусловленные геоаналитическими запросами на естественных языках. Эталон построен по двум логичным параметрам: связь между Спатио-Темпоральным и семантическим заземлением, что отражает давние проблемы в поиске геопространственной информации и связанные с этим естественные языковые задачи. Требования в отношении установления истины закодированы в постоянной, независимой от поставщика схеме для воспроизводимой оценки идентификации ресурсов и спецификации уровня атрибутов. Эксперименты на семи моделях под минимальным стимулирующим воздействием индикации