На пути к агентам ЛЛМ для наблюдения Земли
arXiv:2504.1210v3 Вид уведомления: заменить резюме: " Наблюдение Земли (НОО) предоставляет критические планетарные данные для экологического мониторинга, предупреждения и ликвидации последствий стихийных бедствий, климатологии и других научных областей. В этой работе мы задаемся вопросом: готовы ли системы АИ к надежному наблюдению Земли? Для ответа на этот вопрос мы введем UniviERTH, базовый показатель кодирования 408: да/нет вопросов из статей НАСА обсерватории Земли по 7 различным темам и более 15 спутниковым приборам и источникам. Используя Google Earth API в качестве инструмента при нулевом запуске, агенты LLM достигают точности 40,0%, где код не работает более 44% времени. Чтобы лучше понять поведение агента LLM, мы также анализируем влияние использования JavaScript API против Python и эффект предоставления документации. Кроме того, мы считаем, что использование системы Рефлексии значительно снижает ошибки: Клод-4.5-Sonnet, Gemini-2.5-Pro и GPT-5 точность возрастает примерно до 60%. Однако эти результаты остаются лишь незначительно выше случайных результатов.
