Auto-Research Arena: Контроль и развитие автоисследований в моделировании языка

arXiv: 261 030,35866v2 Annuales Type: заменить резюме: По мере повышения способности автономных исследовательских систем контрольные показатели должны оценивать их эффективность и поддерживать значимый прогресс в области исследований. Мы введем Auto-Research Arena, многоцелевой критерий для оценки автономных исследовательских систем и выявления идей при моделировании языка. Арена поддерживает различные цели исследований в рамках общей экспериментальной среды путем разделения допустимости и улучшения: качество моделей и ограниченность ресурсов определяют, является ли результат приемлемым, а выбранные целевые показатели - прогресс между допустимыми результатами. Мы участвуем Арену в предварительной языковой подготовке с девятью целями, охватывающих модель, данные, подготовку кадров и эффективность выводов, а также оцениваем семь исследовательских программ с использованием двух базовых моделей. Арена проводит четкое различие между существующими средствами и целями исследований, при этом несколько сложных методов превосходят наши простые последовательные исходные данные поиска, что указывает на существенные