Jul, 2020

使用温和 Sigmoid 激活函数进行具有差分隐私的深度学习

PDF
TL;DR提出使用 tempered sigmoids 激活函数进行隐私保护训练，取得了 MNIST，FashionMNIST 和 CIFAR10 数据集上新的最优准确率，同时不需要修改学习过程的基本原理或差分隐私分析。
privacy-preserving trainingdifferential privacyactivation functionmachine learningstate-of-the-art accuracy
发现论文，激发创造
  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 面向实际分布偏移的认证鲁棒性

    本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

    Jun, 2022

  • 迭代训练程序添加差分隐私的一般方法

    本文介绍了一种模块化方法，可以最小化对训练算法的更改，提供各种隐私机制的配置策略，并隔离和简化计算最终隐私保证的关键逻辑，以解决在隐私敏感数据集上训练机器学习模型所面临的实际挑战。

    Dec, 2018

  • 训练知道自己不知道什么的私有模型

    通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

    May, 2023

  • 高斯差分隐私深度学习

    本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义 ——f - 差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

    Nov, 2019

  • 差分隐私学习中的在线敏感性优化

    通过将剪切阈值视为可学习参数，我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程，从而在不牺牲整体隐私分析的情况下，在各种评估场景中展现出与传统方法相媲美甚至更好的性能。

    Oct, 2023

  • 深度学习模型架构如何影响其隐私？

    本文通过实验证明，在深度神经网络中，模型结构对于模型的隐私性具有影响，并发现激活层、干细胞层和偏置参数的微观设计是 CNN 相对于 Transformers 更健壮的主要原因，而注意力模块的存在也是 Transformers 更容易受到隐私攻击的另一个原因。

    Oct, 2022

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023