Sep, 2023

集中式深度学习中的差分隐私最新进展：系统性概述

PDF
TL;DR差分隐私已成为机器学习中广受欢迎的数据保护方法，尤其是因为它允许提供严格的数学隐私保证。本文综述了差分隐私集中深度学习的现状，对最近的进展和开放问题进行了深入分析，并讨论了该领域未来的可能发展。通过系统的文献综述，涵盖了以下主题：针对隐私模型的审计和评估方法，提高隐私与效用之间的权衡，防范各种威胁和攻击，差分隐私生成模型以及新兴应用领域。
differential privacycentralized deep learningprivacy guaranteesprivacy-utility trade-offsgenerative models
发现论文，激发创造
  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023

  • 一种自适应快速收敛的差分隐私深度学习方法

    本文提出了 ADADP 算法，该算法是一种自适应且具有可证明隐私保证的学习算法，通过引入自适应噪声以及自适应学习率，显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP 在真实数据集上的实验结果表明，它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。

    Dec, 2019

  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 深度学习中的隐私：综述

    本文综述了深度学习中面临的隐私问题，以及已经提出的解决这些问题的技术，并提出了未来研究方向。

    Apr, 2020

  • 具有差分隐私的数据分析

    本论文利用差分隐私算法对分布式和流数据进行分析，通过学习全局数据模型并保障差分隐私，提出了三种分布式学习贝叶斯网络模型的新方法，并针对流数据中的用户密度估计问题，提供了用户级别的隐私保护算法和改进策略。

    Jul, 2023

  • 实用差分隐私的三种工具

    在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

    Dec, 2018

  • 差分隐私和机器学习：调查和评论

    本文讨论了机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制，探讨了可以通过差分隐私进行学习的内容以及差分隐私算法的损失函数上限。同时提出了一些开放性问题，包括如何整合公共数据，如何处理私人数据集中的缺失数据，以及当观察样本数量任意增大时，是否可以实现差分隐私机器学习算法而无需牺牲相关算法的效用成本。

    Dec, 2014

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022