Как оцениваются автоматизированные исследования? Обзор критериев и методов оценки
arXiv: 2610.11877v1 Annualce Type: New Humber Abstract: Автоматизированные исследовательские системы поддерживают обобщение литературы, идеи, эксперименты, писание и коллегиальный обзор, но их оценка разбросана по задачам, критериям и исследованиям, которые трудно непосредственно сравнивать. Мы анализируем эту литературу с точки зрения структуры и фактических данных оценки, охватывая шесть целей: обобщение литературы, представление идей исследований, выполнение рабочих процедур, написание научных материалов и коммуникация, автоматический коллегиальный обзор и исследования в конечном итоге. Мы сравниваем постановку задач, источники доказательств, оценки и процедуры баллов для разъяснения возможностей, оцениваемых различными конструкциями. В нашем обобщении освещаются три повторяющихся урока: проверка результатов, проверки процессов и исследования человека обеспечивают дополнительную информацию; калибровка по оценке проводится с учетом конкретных характеристик оцениваемого имущества; а бюджеты ресурсов и выбор попыток являются неотъемлемым элементом для интерпретации сопоставления показателей деятельности. Мы идентифицируем диагностические схемы оценки а