Когда не хватает возврата: устаревшие факты в памяти агента

arXiv: 261 030.36308v1 Annuate Type: New Humealth Abstract: Estimates-Agent measures studies часто крушают поиск и генерацию ответов в один балл, что затрудняет определение того, является ли отказ результатом отсутствия обновления или же неиспользования уже найденного обновления. Мы изучаем это различие в задаче "однократного" укрепления памяти агента Бенча. С Qwen2,5-7B-инструкцией 6K-историческая точность BM25 снижается с 45% до 32%, когда бюджет собранных доказательств увеличивается с 64 до 512 символов, даже несмотря на то, что по результатам специальной проверки при помощи золота было обнаружено самое новое заявление в каждом найденном наборе. Большинство ошибок происходят по вопросам, которые также содержат устаревшую версию отчета. При замороженном быстром и равном размере доказательств в четыре раза, замена не связанного с этим заявления устаревшим конкурирующим заявлением снижает точность со 100% до 44,6% для Qwen2,5 и от 100 до 87,8% для Qven3-14B, при этом все 50 вредных парных подсказок классифицируются как загадочные. 32K-историческое воспроизведение также предпочитает BM25-64 вместо