Оценка возможностей модели после контрольной программы

Компьютерные науки > Искусственный интеллект [представлен 14 октября 2026 года] Название: Оценка потенциала модели после контрольного просмотра программы PDF HTML (экспериментальное) резюме: Радикальные достижения в возможностях АИ приводят к тому, что контрольные показатели улавливаются. После того как несколько моделей подходят к идеальным оценкам, базовый показатель теряет свою способность проводить различие между ними и с его полезностью для информирования о случаях обеспечения безопасности ИИ и приграничной политике. Тем не менее исходные данные дают гораздо больше информации, чем оценки, которые мы обычно извлекаем из них: полный текст о том, как каждая модель решает задачу. Мы изучаем вопрос о том, можно ли использовать эти стенограммы для оценки возможностей моделирования даже после насыщения контрольных показателей. Мы имитируем насыщение ретроспективно с использованием исторических контрольных показателей и выбросов моделей, а также проверяем, могут ли протоколы, доступ к которым только правильно решенные стенограммы из насыщенных контрольных параметров, предсказывать возможности, измеряемые на удерживаемых, ненасыщенных средствах. Мы оцениваем репрезентативные современные подходы к извлечению информации из типовых стенограмм: парная оценка, однократный абсолютный балл и предсказания детерминистских элементов стенографии или встроенных устройств. Мы считаем, что насыщенные стенограммы содержат информацию о возможностях сверх контрольной точности. Среди наших…