本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

Jan, 2019

本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。

Jun, 2019

本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛化误差上界的最优化公式。

May, 2019

研究表明，深度神经网络具有从低到高频率捕捉目标函数的能力，这被称为频率原理。本文证明了频率原理适用于广泛的损失函数，并能应用于解决不同类型问题的数值方案中，例如：利用 DNN 解决常规方法较慢的微分方程问题。

Nov, 2018

本研究提出了一种称为 Deep Frequency Filtering（DFF）的技术，可以通过调节深度神经网络中的不同频率组件来学习域通用特征在跨域转移时具有更好的泛化能力。通过 Fast Fourier Transform（FFT）技术和注意力机制，DFF 可以增强可转移的频率成分并抑制不利于泛化的成分。在多种跨域泛化任务中，DFF 优于现有技术并获得了最佳性能。

Mar, 2022

通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

Aug, 2018

传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

May, 2024

本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。

May, 2019

频率分析这一研究领域在理解神经网络中的表示学习机制方面具有重要作用。本研究通过实证调查，扩展了对频率快捷方式的理解，并验证了其在分类任务中的应用，结果显示频率快捷方式是可转移的，且无法完全避免，建议未来的研究应该专注于有效的训练方案以减轻频率快捷方式的学习。

Jul, 2023

神经网络首先适应训练数据，后来在训练过程中对测试数据进行泛化。本文通过频率动态的角度阐述了这一现象，发现网络最初学习了测试数据中较不明显的频率成分，从而对理解该现象及其机制提供了新的观点。

May, 2024