神经网络的谱间隔正则化
本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。
May, 2017
本文介绍了一种基于 Chomsky 层次的直观简洁性概念，利用 Hankel 矩阵的跟踪范数作为频谱正则化器的高级模型，并提出了一种偏袒随机估计器以应对 Hankel 矩阵是双无限的事实，最终证明了频谱正则化在 Tomita 语法上的潜在优势以及提议的随机估计器的有效性。
Nov, 2022
研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。
May, 2023
通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为 “光谱神经网络（SNN）” 的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信 SNN 架构在广泛的矩阵学习场景中具有潜在的适用性。
Feb, 2024
通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。
Apr, 2023
在图神经网络中，传统的图拉普拉斯正则化对现有 GNN 的性能提升不大，提出了一种名叫 P-reg 的图拉普拉斯正则化变体，可以有效增加信息熵，提升现有 GNN 模型在节点级和图级任务上的性能。
Sep, 2020
本文使用流形正则化的概念开发了新的正则化技术，以训练具有局部稳定性的深度神经网络；我们的正则化器基于图拉普拉斯矩阵的稀疏化，当数据在高维空间中稀疏时，能够高概率地保持；经验证明，我们的网络表现出稳定性，并能够在不同的扰动模型下经受良好的检验；此外，我们的技术高效，并且与网络的额外两个并行前向传递的开销相当。
Mar, 2020
本论文提出了一种名为 “引导正则化” 的简单新方法，可以在训练过程中优先考虑某些神经网络单元的权重，使得某些单元变得不那么重要而可剪枝，从而实现神经网络的自然简化，在保持性能的同时减少不必要的单元。
May, 2023
提出了一种称为 `Spectral Dropout' 的新方法，它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络 (CNN) 的权重层，通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合，相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果，并且可以与其他正则化方法共同使用。
Nov, 2017