Jan, 2019

频率原理：傅里叶分析揭示深度神经网络

PDF
TL;DR本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。
deep neural networksfourier analysisfrequency principleactivation functionsgeneralization
发现论文，激发创造
  • 一般深度神经网络的频率原理理论

    本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。

    Jun, 2019

  • 深度神经网络在频域下的训练行为

    通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

    Jul, 2018

  • 深度学习中基于一般损失函数的频率原则及其潜在应用

    研究表明，深度神经网络具有从低到高频率捕捉目标函数的能力，这被称为频率原理。本文证明了频率原理适用于广泛的损失函数，并能应用于解决不同类型问题的数值方案中，例如：利用 DNN 解决常规方法较慢的微分方程问题。

    Nov, 2018

  • 两层神经网络中频率原则的隐性偏差显性化

    本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛化误差上界的最优化公式。

    May, 2019

  • 用傅里叶分析理解深度学习中的训练和泛化

    通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

    Aug, 2018

  • 神经网络中频率偏差动态的理解

    传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

    May, 2024

  • 计算机视觉模型的傅里叶敏感性和正则化

    本研究通过一种可靠的方法，研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。

    Jan, 2023

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 神经网络对不同频率学习函数的收敛速度

    本研究探讨了神经网络学习函数的速度与频率之间的关系，发现在引入偏差项的情况下，浅层神经网络才能够学习和表示简单的低频函数，进一步实验与理论的结果支持了这一理论。

    Jun, 2019

  • 傅里叶特征：让网络在低维度域中学习高频函数

    通过将输入点通过简单的傅里叶特征映射传递，使得多层感知机（MLP）能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核（NTK）文献中的工具，我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差，我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法，极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。

    Jun, 2020