Feb, 2022

基于知识蒸馏的本地差分隐私分布式深度学习

PDF
TL;DR本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。
发现论文，激发创造
  • 局部差分隐私下联邦学习中的实用聚合

    本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

    Jul, 2020

  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024

  • 基于共识算法的差分隐私分散深度学习

    本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

    Jun, 2023

  • 从私有化数据中训练生成模型

    本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

    Jun, 2023

  • 本地差分隐私：教程

    本文针对 LDP 算法在隐私、统计计算和大数据等领域的应用，介绍了不同 LDP 算法在本地程序用户隐私保护、重要数据识别和空间数据收集等问题上的实现并探讨了其未来发展方向。

    Jul, 2019

  • 如何民主化和保护人工智能：公平与差分私有的分散式深度学习

    该论文提出了一种基于声誉系统的去中心化深度学习框架，它利用数字代币、本地可信度和差分隐私来确保公平性和隐私保护，实验结果显示其在三种实际环境下均能取得高度公平性，并且精度与集中式和分布式框架相当，高于单独框架。

    Jul, 2020

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 使用分散聚合进行具有差分隐私的联邦学习

    移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

    Nov, 2023

  • LDP-Fed: 本地差分隐私联邦学习

    LDP-Fed 是一个具有正式隐私保证的新型联邦学习系统，使用本地差分隐私（LDP），有别于现有的 LDP 协议，其可以处理来自参与者的高维连续值参数。

    Jun, 2020

  • 关于本地差分隐私在数据统计和分析中的综合调研

    本文论述了 LDP（Local Differential Privacy）模型的隐私保护架构，包括模型、机理、应用场景以及未来研究方向，并比较了在不同数据分析任务中的应用，以达到保护数据隐私的目的。

    Oct, 2020