本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛化误差上界的最优化公式。

May, 2019

本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

Jan, 2019

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。

Jul, 2023

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。

Jun, 2019

本研究探讨了神经网络学习函数的速度与频率之间的关系，发现在引入偏差项的情况下，浅层神经网络才能够学习和表示简单的低频函数，进一步实验与理论的结果支持了这一理论。

Jun, 2019

通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

Oct, 2022

通过 Betti 数我们研究了在经过深度神经网络的各个层时，特征嵌入空间的拓扑结构如何变化。我们使用了拓扑同调理论中的方格同调进行了扩展分析，使用了各种流行的深度架构和真实图像数据集。我们证明随着深度的增加，一个拓扑上复杂的数据集会被转换成一个简单的数据集，Betti 数会取得最低可能的值。拓扑复杂度的衰减速率可以量化架构选择对泛化能力的影响。此外，我们从表示学习的角度强调了几种不变性，例如 (1) 相似数据集上的体系结构、(2) 深度可变的嵌入空间、(3) 嵌入空间与输入分辨率 / 大小以及 (4) 数据子采样。为了进一步证明网络的表达能力与泛化能力之间的联系，我们考虑了下游分类任务 (迁移学习) 中预训练模型的排序任务。与现有方法相比，所提出的度量方法与通过微调预训练模型实际可达到的准确性具有更好的相关性。

Nov, 2023

通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

Jul, 2018