Jan, 2023

基于差分隐私标签比例的分布式 LSTM 学习

PDF
TL;DR该论文提出了两个有效模型，利用差分隐私和去中心化 LSTM 学习，以解决数据隐私、通信带宽和从时空数据中学习的问题，并在 Pems-Bay 和 METR-LA 数据集上进行了评估，同时提供了基于 LuST 的自有数据集，评估结果显示了性能与数据隐私之间的权衡。
data privacydecentralized data collectiondifferential privacylstm-learningspatio-temporal data
发现论文，激发创造
  • 学习差分隐私递归语言模型

    本文提出了使用联邦平均算法实现用户级差分隐私，以及在保持较高的实用性的同时进行隐私保护的方法。通过在用户分区数据上训练深层网络并进行隐私账户记录，我们证明即使在拥有大量用户的数据集上，实现差分隐私也只会以微不足道的精度损失为代价而非减少实用性。

    Oct, 2017

  • 基于知识蒸馏的本地差分隐私分布式深度学习

    本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

    Feb, 2022

  • 图神经网络中的局部差分隐私：一种重建方法

    我们提出了一个基于图神经网络的学习框架，该框架可以在用户层面提供节点隐私，并且在损失效用性方面表现较低。我们使用分布式隐私保护的概念，并在节点水平对特征和标签数据应用随机化机制，在数据被中央服务器收集用于模型训练之前进行扰动。通过随机化数据的统计分析中的频率估计，我们开发了重构方法来逼近扰动数据的特征和标签。我们还形成了利用图聚类的频率估计来在子图层面监督训练过程的学习框架。在真实数据集和半合成数据集上进行了大量实验，证明了我们提出模型的有效性。

    Sep, 2023

  • LSTMSPLIT：基于 SPLIT 学习的序列时间序列数据上有效的 LSTM

    本研究提出了一种名为 LSTMSPLIT 的新方法，结合 Split learning 和 LSTM network，用于处理具有多个客户端的时间序列分类问题，同时采用差分隐私以提高数据隐私保护。实验证明，该方法在心电图数据集和人类活动识别数据集的分类准确率上优于 Split-1DCNN 方法，并且采用差分隐私后仍能取得良好的准确性和用户隐私保护效果。

    Mar, 2022

  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024

  • 局部差分隐私下联邦学习中的实用聚合

    本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

    Jul, 2020

  • 使用分散聚合进行具有差分隐私的联邦学习

    移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

    Nov, 2023

  • 辅助生活隐私保护的深度学习方法

    本文提出了一种基于 LSTM Encoder-Decoder 的新编码技术，用于实现医疗保健数据和环境辅助生活领域中对隐私的保护，通过实验结果证明了该方法的高效性和有效性。

    Feb, 2018

  • 走向联邦长尾学习

    本文探讨如何在隐私保护联邦学习框架下，同时解决学习长尾数据分布及数据隐私保护问题，提出了三种不同的长尾数据分布情景，并强调了相应的挑战。初步结果表明，解决联邦长尾学习任务需要更多的工作和研究。

    Jun, 2022

  • 从私有化数据中训练生成模型

    本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

    Jun, 2023