А. Фиксация для мягких и межэнтропийских систем

arXiv: 261 0311642v1 Вид уведомления: новое резюме: Стандартные реализации мягких, log-softmax и перекрестных патрубков имеют два числа ошибок. Первый жучок, Softmax Colrapse, обгоняет градиент цели логарифма до нуля если один из них намного больше других, что приводит к уклонам, которые не сходятся на ноль. Второй жучок, Softmax Application, происходит в тех случаях, когда студенческие дневники близки к педагогическому уклону и производят ненулевые градиенты даже тогда, когда студенты и учителя равны. Мы представляем простую реализацию log-softmax, мягкий макс. и перекрестно-антропии, которые исправляют обе ошибки. Наше решение устраняет ранее наблюдаемое явление "заповеди", ускоряет рост грязи с разрушением веса, предотвращает падение точности без разложения веса, не позволяет студенческим сетям уходить от учителя во время перегонки и показывает, что после заучения рост лобового покрова ограничивается балансом между распадом веса и гиперпараметром Адама в размере $epsilon долларов.