DataSense-Bench: Первый шаг к стипендиату МА

arXiv:2610.12190v1 Annualce Type: New Humber Brieflow: По мере того, как заявления о рекурсивном самосовершенствовании (RSI) и искусственном общем интеллекте (AGI), мы задаем простой вопрос: имеют ли модели пограничных АИ ощущение данных, т. е. могут они надежно выбирать правильные данные для подготовки? Мы введем систему " DataSense-Bench > для изучения этого потенциала с помощью фундаментальной проблемы отбора данных и прогнозирования эффективности машинного обучения. Мы просим агентов АИ выбрать и ранжировать подмножества для подготовки кандидатов, которые могут быть использованы для усовершенствования небольшой модели LLM. Агенты имеют право проверять данные, писать и выполнять аналитический код и прослушивать пробные пропуска модели, но не могут обучать модель или получать доступ к фактическим задачам оценки. Затем мы доработаем базовую модель на каждом выбранном подмножестве и оценим ее эффективность после прохождения подготовки в соответствии со стандартным протоколом. Мы определяем контрольные показатели в области окончательного решения проблем и использования инструментов, выбираем траектории из OpenThocks-Agents and Envschar и оцениваем туберкулез