神经网络中频率偏差动态的理解

May, 2024

Understanding the dynamics of the frequency bias in neural networks

Juan Molina, Mircea Petrache, Francisco Sahli Costabal, Matías Courdurier

TL;DR传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

Abstract

Recent works have shown that traditional neural network (NN) architectures display a marked frequency bias in the learning process. Namely, the NN first learns the low-frequency features before learning the high-

neural network frequency bias partial differential equation neural tangent kernel fourier features model

发现论文，激发创造

两层神经网络中频率原则的隐性偏差显性化

本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛化误差上界的最优化公式。

May, 2019

神经网络中对非均匀密度输入的频率偏差

本文使用神经切向核（NTK）模型研究变量密度对训练动态的影响，结果表明在学习频率为 k 的纯谐波函数时，对于数据在 S^1 上，收敛点 x 的时间复杂度为 O (k^d/p (x))，其中 p (x) 表示 x 处的局部密度。

Mar, 2020

频率原理：傅里叶分析揭示深度神经网络

本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

Jan, 2019

深度神经网络在频域下的训练行为

通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

Jul, 2018

神经网络对不同频率学习函数的收敛速度

本研究探讨了神经网络学习函数的速度与频率之间的关系，发现在引入偏差项的情况下，浅层神经网络才能够学习和表示简单的低频函数，进一步实验与理论的结果支持了这一理论。

Jun, 2019

神经网络的频谱偏差

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

一般深度神经网络的频率原理理论

本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。

Jun, 2019

多项式神经网络的谱偏差

本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。

Feb, 2022

从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

本研究采用神经切向核理论观察了物理知识指导神经网络的局限性，并通过构建新的体系结构使用时空和多尺度随机傅里叶特征，成功解决了波传播、反应扩散动力学等多尺度问题。

Dec, 2020

物理信息神经网络在频谱范围和导数阶数上的收敛行为研究

该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

Jan, 2023