通过向输入 / 潜在特征添加噪声，探讨了熵变对深度学习系统的影响。实验结果表明，特定类型的噪声可以提升不同深度架构的性能，并通过降低信息熵来理论上证明增益，进而在大规模图像数据集上展示了显著的性能提升。

Sep, 2023

本文介绍了一种新的变分推断方法 - Variational Denoising Network（VDN），该方法将噪声估计和图像去噪综合到一个贝叶斯框架中。使用由深度神经网络参数化的近似后验条件于输入的图像和噪声方差的潜变量，提供具有显式参数形式的后验分布，可用于自动噪声估计的盲图像去噪。VDN 既具有传统模型驱动方法的优点，也具有数据驱动深度学习方法的效率、灵活性和可解释性，且能够在真实场景下估计并消除复杂的非 i.i.d 噪声。综合实验结果表明，该方法在盲图像去噪方面具有优越性。

Aug, 2019

本文提出了一种 Parametric-Noise Injection (PNI) 技术，使用可训练的高斯噪声注入到神经网络的不同层中，解决 min-max 优化问题，通过对抗训练来提高网络的鲁棒性，实验表明该方法能有效提高对抗攻击下的网络鲁棒性。

Nov, 2018

本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

Sep, 2019

在数据为中心的时代里，随着机器学习对个人信息的依赖越来越大，对隐私和道德数据处理的关切也越来越多。本实证研究探讨了联邦学习框架中深度学习模型在存在加性噪声的情况下的隐私、泛化和稳定性。我们的主要目标是提供一些衡量这些模型的泛化、稳定性和保护隐私能力的策略，并进一步改进它们。为此，我们在集中化和联邦学习设置下探索了五种不同噪声水平的噪声注入机制。由于模型复杂性是训练和评估期间深度学习模型的泛化性和稳定性的关键组成部分，我们对三种卷积神经网络架构进行了比较分析。本文引入了信噪比（SNR）作为噪声注入模型的隐私和训练准确性之间权衡的定量度量，旨在寻找提供最佳隐私和准确性的噪声水平。此外，我们定义了稳定性代价和无序性代价这两个概念，以加强保护隐私的深度学习的系统性研究，为增强隐私而不损害性能的噪声注入策略提供了贡献。我们的研究揭示了隐私、泛化和稳定性之间微妙的平衡关系，促进对基于噪声正则化机器学习的影响的深入理解。通过将噪声作为正则化和隐私增强的工具，我们旨在为开发强大的、注重隐私的算法做出贡献，确保人工智能驱动的解决方案将效用和隐私优先考虑。

Nov, 2023

本文研究了变分贝叶斯神经网络、自然梯度上升和卷积神经网络等相关技术，提出了基于噪声版本的自然梯度、Adam 和 K-FAC 算法来训练全协方差、完全因式分解或矩阵变量高斯变分后验，并应用于回归测试中，发现该算法可以更好地预测和匹配存在方法的预测方差，进而用于主动学习和增强学习中实现更高效的探索。

Dec, 2017

本研究分析了不同噪声模型及其强度对卷积神经网络的影响，通过结构相似度（SSIM）度量给出相同大小的噪声模型来进行比较，提出了一些新的启发式策略和建议，可以优化图像分类的最优学习过程。

Jul, 2023

本文介绍了一种基于噪声的先验学习（NoL）方法，用于训练神经网络，使其具有内在的对抗攻击鲁棒性。该方法将具有相同损失函数的随机噪声进行隐式生成建模，并通过主成分分析的可视化工具来进一步理解对抗数据。我们的分析表明，在高排名的主成分上具有更高方差的模型，通常表现出对抗鲁棒性。我们展示了使用我们方法学习的模型对广泛攻击具有很好的性能，即使在白盒和黑盒攻击情况下和与最先进的对抗训练相结合，扩展了模型的鲁棒性，甚至超出其对抗训练的范围。

Jul, 2018

通过理论分析和大量实验证明，在 Deep Gaussian Processes (DGPs) 使用加权变分推断训练的梯度估计中，信噪比问题是普遍存在的。本文提出的基于双重重参数化的梯度估计方法解决了这个问题，提高了 DGPs 模型的预测性能。

Nov, 2020

提出一种新的关于循环神经网络语言模型中数据噪声的理论视角，证明了每一种数据噪声变种都是贝叶斯循环神经网络的一个实例，我们利用这个视角来提出一种更加有原则的方法，并在变分框架下提出了自然的数据噪声扩展方法，通过两个基准的语言建模数据集的实验证明了我们分析的有效性，并证明了我们的方法比现有的数据噪声方法更具实际效果。

Jan, 2019