通过实证研究，我们发现过参数化神经网络相对于低参数网络在对抗性攻击方面更具鲁棒性。

Jun, 2024

通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂 OR 网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

Jun, 2019

本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。

May, 2018

对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的 DNN 的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的 DNNs 上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合 DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解 DNNs 的鲁棒性的数学基础。

Jan, 2024

研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。

Feb, 2020

采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。

Feb, 2020

本文研究通过参数化模型类进行数据插值的现象与深度学习中使用数量远高于方程数的参数进行拟合训练的关系，证明了平滑插值需要的参数数量是简单插值的 $d$ 倍， 并将结果解释为改进的模型泛化边界。

May, 2021

本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

Sep, 2021

通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

Nov, 2018

在这项研究中，我们介绍了一种名为模拟超参数化（SOP）的新范式。SOP 将紧凑模型的计算效率与超参数化模型的先进学习能力相结合，提出了一种独特的模型训练和推断方法。我们提出了一种与主流架构（包括 Transformer 模型）无缝集成的架构无关算法 “majority kernels”，该算法使得模拟超参数化模型的训练，在各种数据集和模型上表现出强大的性能，并在训练时间中增加了最小的开销。

Feb, 2024