Nov, 2023
噪音的悖论: 联邦学习中提高泛化、稳定性和隐私性的噪音注入机制的实证研究
The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to
Improve Generalization, Stability, and Privacy in Federated Learning
TL;DR在数据为中心的时代里，随着机器学习对个人信息的依赖越来越大，对隐私和道德数据处理的关切也越来越多。本实证研究探讨了联邦学习框架中深度学习模型在存在加性噪声的情况下的隐私、泛化和稳定性。我们的主要目标是提供一些衡量这些模型的泛化、稳定性和保护隐私能力的策略，并进一步改进它们。为此，我们在集中化和联邦学习设置下探索了五种不同噪声水平的噪声注入机制。由于模型复杂性是训练和评估期间深度学习模型的泛化性和稳定性的关键组成部分，我们对三种卷积神经网络架构进行了比较分析。本文引入了信噪比（SNR）作为噪声注入模型的隐私和训练准确性之间权衡的定量度量，旨在寻找提供最佳隐私和准确性的噪声水平。此外，我们定义了稳定性代价和无序性代价这两个概念，以加强保护隐私的深度学习的系统性研究，为增强隐私而不损害性能的噪声注入策略提供了贡献。我们的研究揭示了隐私、泛化和稳定性之间微妙的平衡关系，促进对基于噪声正则化机器学习的影响的深入理解。通过将噪声作为正则化和隐私增强的工具，我们旨在为开发强大的、注重隐私的算法做出贡献，确保人工智能驱动的解决方案将效用和隐私优先考虑。