Ближайшие линии для спарсивно активированных нейронных сетей

arXiv: 2609,09130v1 Annuales Type: кросс-бюллетень: Ввод может активировать несколько скрытых единиц даже в тех случаях, когда различные вводимые данные совместно используют целую сеть. Мы изучаем статистическую сложность этой зависящий от вводимых ресурсов спарсити в модели релюра однослойного слоя Awasti et al. (COLT 2024). В случае ширины доллара США, не более чем активных единиц за вход, и реальных весовых ограничений и отклонений в размере $W,B долл. США каждая выборка размера/млн. долл. В рамках системы защиты и единого стандартизованного цепного аргумента снимается предыдущий эксплицитный фактор измерения вплоть до логарифмов. Нижние границы соответствующих предельных значений i.i.d соответствуют этим логарифмам, показав как изменение активных единиц по входным данным сохраняет зависимость от ширины. Входной домен имеет значение: сети с нулевыми диаспорами, ограниченные по всему шару, имеют не более 2 долл. США без нуля и сложности $O(kWR/sqrt m)$, в то время как границы отклонения сопоставимы с $WR$ восстановить t