深度神经网络的光谱复杂度

May, 2024

Spectral complexity of deep neural networks

Simmaco Di Lillo, Domenico Marinucci, Michele Salvi, Stefano Vigogna

TL;DR在本文中，我们提出使用极坐标谱来表征网络架构的复杂性，并根据序列的渐近分布对网络进行分类为低阶、稀疏或高阶。我们展示了这种分类方法在标准激活函数和 ReLU 网络的稀疏性质方面的不同特征，并通过数值模拟验证了我们的理论结果。

Abstract

It is well-known that randomly initialized, push-forward, fully-connected neural networks weakly converge to isotropic gaussian processes, in the limit where the width of all layers goes to infinity. In this pape

neural networks isotropic gaussian processes network architecture angular power spectrum sparsity properties

发现论文，激发创造

神经网络的频谱偏差

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

深度网络中谱普适性的出现

利用自由概率理论，对深度网络输入 - 输出 Jacobian 谱的结构进行研究，探讨非线性、权值、偏置分布、深度等超参数对 Jacobian 谱的影响。我们发现，不同的非线性函数都符合一些新的普适极限谱分布，即使深度接近无穷，这些分布也可以牢固地集中于 1 附近，从而可以为深度网络的设计提供重要的指导。

Feb, 2018

深度学习谱偏差研究

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

深度残差学习中的频谱集中：一种自由概率方法

使用自由概率的强大工具对深度残差网络（ResNets）的初始化进行重审，并建议按残差单元数量重新缩放经典随机初始化，以获得数量级更高的学习速度。

Jul, 2018

高斯过程对神经网络的非渐进逼近

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

关于卷积神经切线和高斯过程核的谱偏差

通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Mar, 2022

无限宽深度神经网络中的稀疏度 - 深度权衡

研究稀疏神经活动如何影响具有修正线性单元激活的神经网络的一般化性能，提出神经网络高斯过程（NNGP）核，观察到在浅层时更稀疏的网络在各种数据集上优于非稀疏网络，并通过扩展现有的核 - 岭回归的一般化误差理论来验证此观察结果。

May, 2023

通过训练动态了解基于坐标的多层感知器的谱偏差

本研究通过梯度混淆，对基于坐标的多层感知器（coordinate-based MLP）中的谱偏差进行了研究，发现当表现能力受限时混淆程度增加，导致其收敛速度变慢，同时也发现了谱偏差降低时激活区域的特性。

Jan, 2023

神经网络的细粒度光谱分析

本文从谱的角度研究共轭内核（Conjugate Kernel，CK）和神经切向内核（Neural Tangent Kernel，NTK）的特性，分析它们的特征值，得出关于神经网络的初始化分布和训练、泛化特性等问题的新见解，并通过广泛的神经网络实验验证这些见解。

Jul, 2019

稀疏连接深度神经网络的最优逼近

本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

May, 2017