本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

Jul, 2016

本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义——f-差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

Nov, 2019

本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

Jun, 2020

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。

Sep, 2022

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

本研究提出了DP-RandP方法，并从随机过程生成的图像中学习先验知识，并将这些先验知识传递给私有数据，从而提高了差分隐私随机梯度下降DP-SGD的隐私效用权衡的性能，并在CIFAR10，CIFAR100和MedMNIST数据集上实现了新的最佳准确度。

Jun, 2023

在研究中，我们表征了任意关联函数的渐进学习效用，并给出了线性回归的精确分析边界以及对于一般凸函数问题的凸优化问题的解。我们通过这些界限展示了关联噪声相对于基本DP-SGD在问题参数（如有效维度和条件数）上的可证明改进。此外，我们的近乎最优关联函数的解析表达，绕开了先前工作中用于优化噪声关联矩阵的半正定程序的立方复杂性。我们通过隐私深度学习实验验证了我们的理论，在计算和内存方面都与之前的工作相匹配或超越。

Oct, 2023

在数据为中心的时代里，随着机器学习对个人信息的依赖越来越大，对隐私和道德数据处理的关切也越来越多。本实证研究探讨了联邦学习框架中深度学习模型在存在加性噪声的情况下的隐私、泛化和稳定性。我们的主要目标是提供一些衡量这些模型的泛化、稳定性和保护隐私能力的策略，并进一步改进它们。为此，我们在集中化和联邦学习设置下探索了五种不同噪声水平的噪声注入机制。由于模型复杂性是训练和评估期间深度学习模型的泛化性和稳定性的关键组成部分，我们对三种卷积神经网络架构进行了比较分析。本文引入了信噪比（SNR）作为噪声注入模型的隐私和训练准确性之间权衡的定量度量，旨在寻找提供最佳隐私和准确性的噪声水平。此外，我们定义了稳定性代价和无序性代价这两个概念，以加强保护隐私的深度学习的系统性研究，为增强隐私而不损害性能的噪声注入策略提供了贡献。我们的研究揭示了隐私、泛化和稳定性之间微妙的平衡关系，促进对基于噪声正则化机器学习的影响的深入理解。通过将噪声作为正则化和隐私增强的工具，我们旨在为开发强大的、注重隐私的算法做出贡献，确保人工智能驱动的解决方案将效用和隐私优先考虑。

Nov, 2023

使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保DNN的训练时，DP-SGD会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战，因为强DP保证需要使用大规模批次。我们首先展示这种现象也适用于无噪声SGD（无截断的DP-SGD），表明随机性（而不是截断）是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。我们在线性最小二乘和对角线线性网络设置中理论上分析了连续版本的无噪声SGD所得到的解，并揭示了隐式偏差确实被额外的噪声放大。因此，大批量DP-SGD训练的性能问题根源于SGD的相同潜在原则，为大批量训练策略的潜在改进提供了希望。

Feb, 2024

使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

Jun, 2024