Aug, 2018

用傅里叶分析理解深度学习中的训练和泛化

PDF
TL;DR通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。
deep neural networksgradient-based methodsgeneralization errorfourier analysisinitialization
发现论文，激发创造
  • 频率原理：傅里叶分析揭示深度神经网络

    本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

    Jan, 2019

  • 深度神经网络在频域下的训练行为

    通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

    Jul, 2018

  • 一般深度神经网络的频率原理理论

    本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。

    Jun, 2019

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度学习中基于一般损失函数的频率原则及其潜在应用

    研究表明，深度神经网络具有从低到高频率捕捉目标函数的能力，这被称为频率原理。本文证明了频率原理适用于广泛的损失函数，并能应用于解决不同类型问题的数值方案中，例如：利用 DNN 解决常规方法较慢的微分方程问题。

    Nov, 2018

  • 深度学习具有泛化能力是因为参数 - 函数映射倾向于简单函数

    本文提供了深度神经网络的隐式正则化和广义性能的新解释，即表明深度神经网络的参数 - 函数映射应该具有指数偏向简单函数的现象，并且该内在的简单性依赖有助于解释为什么深度网络在现实世界的问题上具有良好的泛化性能。此外，本文提出了一种基于 PAC-Bayes 理论的方法，可以保证目标函数产生高似然训练集时的良好期望泛化，而且该方法的普适性更好。

    May, 2018

  • 深度神经网络的学习曲线：高斯场理论视角

    使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

    Jun, 2019

  • 基于 Fourier 的领域泛化框架

    本文提出了一种基于傅里叶的领域泛化新视角，通过开发一种称为幅度混合的新型傅里叶数据增强策略，来强制模型捕获高级语义信息，同时在原始图像与增强图像之间引入了一种双重一致性损失方法，取得了领域泛化的最新成果并显著提高了性能。

    May, 2021

  • 重新思考 DNN 的泛化、记忆和谱偏差之间的关系

    研究表明，深度神经网络的学习偏差会在训练的后期阶段出现第二次下降，其高频分量也会因此减少，导致测试误差的第二次下降，而网络的频谱可以用于指示测试误差的第二次下降。

    Apr, 2020

  • 衡量 CNN 学习表面统计规律的倾向性

    本研究使用 Fourier 滤波技术构建数据集，并发现深度 CNN 倾向于抓取训练集的 Fourier 图像统计数据，导致出现高泛化差距，从而支持深层 CNN 更倾向于学习数据集的表面统计规律而非高层次的抽象概念。

    Nov, 2017