通过研究深卷积网络的灵敏度，我们发现傅里叶基函数方向上的微小改变可以导致网络准确率下降，这是一种有潜在安全风险的现象，然而这种有害扰动的共享方向特征仍然未知。鉴于对其性质的探究，我们针对黑盒模型提出了一个通用算法，可以生成具有位移不变性的通用对抗扰动。

Sep, 2018

本研究使用 Fourier 滤波技术构建数据集，并发现深度 CNN 倾向于抓取训练集的 Fourier 图像统计数据，导致出现高泛化差距，从而支持深层 CNN 更倾向于学习数据集的表面统计规律而非高层次的抽象概念。

Nov, 2017

通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

Oct, 2022

本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

Jan, 2019

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

本文提出了一种基于傅里叶基的深度强化学习简单架构，通过理论和实验探究，发现学习傅里叶特征可以调整网络欠拟合和过拟合的程度，从而提高强化学习的性能和稳定性。

Dec, 2021

通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

Aug, 2018

通过将输入点通过简单的傅里叶特征映射传递，使得多层感知机（MLP）能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核（NTK）文献中的工具，我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差，我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法，极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。

Jun, 2020

本文提出一种名为频率正则化的方法，在频域约束网络参数的非零元素，进而可以极大程度上压缩神经网络的参数，保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证，验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。

Apr, 2023

本文介绍了一种名为 “Fourier Stabilization” 的方法，使用傅里叶分析工具来设计抗拒逃避攻击的神经网络，提高了神经网络在多种安全检测环境下的鲁棒性，并证明这种方法与对抗性训练有效组成。

Jun, 2021