Проверка на основе собственности для проверки жесткой Softmax и перекрестной энтропии

arXiv: 261 030.36427v1 Annualce Type: New Brieflook: The regulation (недавний доклад Баррона и др. (2026 год) выявил два цифровых вопроса, связанных с мягким максом и перекрестными функциями в практически всех стандартных библиотеках машинного обучения (например, PyTorch and JAX). Мы показываем, что эти проблемы могут быть решены с помощью простых анализов на основе собственности в гипотезе. Однако наши тесты указывают на дополнительный передовой случай, когда их осуществление не срабатывает. Затем мы предлагаем еще более надежную мягкую реализацию, которая проходит эти испытания и поддерживает использование для маскировки причинно-следственного внимания. Мы сравниваем наше осуществление с их осуществлением и обсуждаем некоторые различия. В целом эта работа показывает, что испытания на основе собственности могут быть мощным инструментом выявления и решения количественных вопросов в библиотеках машинного обучения. С результатами наших экспериментов и анализами на основе собственности можно ознакомиться по адресу https://github.com/mmaaz-git/ softmax-fix.