Обеспечивает ли стабильная производительность стабильные прогнозы модели?: эмпирическое исследование с использованием набора данных GUSTO-1

arXiv: 2609.19019v1 Annualte Type: New Humber Brieflow: Проверка модели обычно используется для количественной оценки и корректировки завышенных оценок эффективности, однако она не в полной мере учитывает стабильность моделей, разработанных на основе слегка различных учебных образцов. Мы изучили вопрос о том, предполагает ли стабильная дискриминация стабильные индивидуальные прогнозы и сравнили ли логистические регрессии (LR) с искусственными нейронными сетями (ANN). На основе данных 40 830 участников процесса ГУСТО-I, в результате которого смертность составила 30 дней, мы разработали шесть сценариев размера выборки с различными событиями на переменную (ЭPV). В каждом сценарии модели LR и ANN были разработаны с использованием восьми прогнозов, а 200 проб на основе бутерброда использовались для оценки стабильности в условиях дискриминации, средней абсолютной ошибки прогнозирования (MAPE) и классификационного индекса нестабильности (CII). Что касается ЛР, то дискриминация стабилизировалась на уровне ЭТС 44.50, в то время как МОПЕ и СII не стабилизирулись до того момента, когда ППВ составил 89.12. Дискриминация АНН носит более неустойчивый характер, причем оптимизм является весьма оптимистическим.