该研究探讨了在协作学习框架中添加噪声的效果，提出了三种方法来解决深度神经网络中的常见问题，并表明噪声可以作为学习资源来促进协作学习。

Oct, 2019

通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Aug, 2023

本研究分析了不同噪声模型及其强度对卷积神经网络的影响，通过结构相似度（SSIM）度量给出相同大小的噪声模型来进行比较，提出了一些新的启发式策略和建议，可以优化图像分类的最优学习过程。

Jul, 2023

在深度学习中添加一种正则化项，即注入信息失真噪声，可以更好地强制执行最优表示的关键属性。信息 dropout 是对 dropout 的一种改进，可以更好地适应数据和网络结构，同时可以生成区分度良好的表示。

Nov, 2016

本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

Sep, 2019

在数据为中心的时代里，随着机器学习对个人信息的依赖越来越大，对隐私和道德数据处理的关切也越来越多。本实证研究探讨了联邦学习框架中深度学习模型在存在加性噪声的情况下的隐私、泛化和稳定性。我们的主要目标是提供一些衡量这些模型的泛化、稳定性和保护隐私能力的策略，并进一步改进它们。为此，我们在集中化和联邦学习设置下探索了五种不同噪声水平的噪声注入机制。由于模型复杂性是训练和评估期间深度学习模型的泛化性和稳定性的关键组成部分，我们对三种卷积神经网络架构进行了比较分析。本文引入了信噪比（SNR）作为噪声注入模型的隐私和训练准确性之间权衡的定量度量，旨在寻找提供最佳隐私和准确性的噪声水平。此外，我们定义了稳定性代价和无序性代价这两个概念，以加强保护隐私的深度学习的系统性研究，为增强隐私而不损害性能的噪声注入策略提供了贡献。我们的研究揭示了隐私、泛化和稳定性之间微妙的平衡关系，促进对基于噪声正则化机器学习的影响的深入理解。通过将噪声作为正则化和隐私增强的工具，我们旨在为开发强大的、注重隐私的算法做出贡献，确保人工智能驱动的解决方案将效用和隐私优先考虑。

Nov, 2023

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

通过实验证明，熵攻击可以增加传输开销高达 95%，提出一个新的防御机制，可以将受攻击输入的传输开销减少约 9%，只有约 2% 的准确度损失，并提出该防御机制可以与对抗训练等方法结合使用以进一步提高鲁棒性。

Mar, 2024

本文研究了在训练基本和复杂神经网络时添加梯度噪声的效果，发现这种技术可以显著提高训练效果，尤其是在较深的网络结构中更加有效，鼓励将该技术应用于更多复杂现代架构中。

Nov, 2015

本文研究在正奖励噪声框架下，如何通过随机噪声使经典模型受益，并提出了优化其变分下界的变分 Pi 噪声（VPN）提高基本模型的生成器，其独立设计可以与大多数现有模型一起使用，并且性能可以得到改善，VPN 生成器可以针对复杂的图像去除不必要的元素，满足我们的期望。

Jun, 2023