高斯噪声注入的显式正则化
通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。
Oct, 2017
本文探讨了在机器学习模型训练中注入人工噪声以提高性能的问题，并发现相比于无相关噪声和有相关噪声的方法，采用反相关噪声的梯度下降方法（Anti-PGD）能够更好地推广至新数据集上，这一发现为利用噪声进行机器学习模型训练提供了新的思路。
Feb, 2022
本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高DNN的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如Dropout或$L_2$正则化）。
Oct, 2022
研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。
May, 2023
通过研究 Ghost Batch Normalization 的有效性及其噪声分布和对模型性能的影响，提出了一种新的正则化技术 Ghost Noise Injection，其能够提供比 Ghost Batch Normalization 更好的泛化收益，并且在其它非噪声设置下也有益处。
May, 2023
本研究探索了噪声注入与数据增强策略在改善神经网络鲁棒性和泛化能力方面的影响，通过评估各种注入噪声策略在分布内和分布外情况下对模型校准和泛化能力的影响，发现激活噪声可以有效改善模型的泛化能力，而输入数据增强噪声则可以显著提高模型在分布外的校准效果。
Jun, 2023
我们在神经网络函数空间中基于神经切向核和Fisher信息矩阵的特征分解，对一种改进的自然梯度下降方法进行理论分析。我们首先在假设高斯分布和无穷宽度限制下给出了该改进自然梯度学习到的函数的解析表达式。接着，我们利用特征分解和统计理论的理论方法，明确地推导了学习到的神经网络函数的泛化误差。通过将泛化误差分解为函数空间中不同特征空间的总和，我们提出了一个平衡训练集和真实数据之间分布差异引起的误差的准则。通过这种方法，我们证明了在函数空间中修改神经网络的训练方向会降低总的泛化误差。此外，我们证明了这个理论框架能够解释许多现有的泛化增强方法的结果。我们还通过合成数据的数值例子对这些理论结果进行了说明。
Jul, 2023