Aug, 2020

NoPeek：减少信息泄露以在分布式深度学习中共享激活

PDF
TL;DR本文提出了一种基于距离相关性降低原始数据和中间表示之间信息泄露的分布式深度学习方法，以应对敏感数据对分布式机器学习服务的限制。该方法在训练和推断过程中通过减少数据和表示之间的距离相关来预防原始数据的重构攻击。实验证明该方法能够有效保护隐私信息并保持高的分类准确率。
distributed machine learningsensitive datadistance correlationmodel accuracyreconstruction attack
发现论文，激发创造
  • 无窥视：私有分布式深度学习综述

    本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据泄露和通信效率方面的优缺点，并分享了未来的趋势。

    Dec, 2018

  • RL-DistPrivacy: 低延迟 IoT 系统隐私感知分布式深度推理

    本论文通过重新考虑分发策略，并利用增强学习设计来支持异构设备和多个 DNN / 数据集，实现协同深度推理的安全性，以平衡联合推理的延迟和数据隐私级别之间的权衡。

    Aug, 2022

  • GAN 下的深度模型：来自协作深度学习的信息泄露

    本文研究了协作深度学习的隐私问题以及差分隐私技术的应用，结果发现目前的方法都无法保护参与者的训练数据隐私，因为我们提出了一种基于生成对抗网络的攻击方法。

    Feb, 2017

  • 神经网络图像分类中的梯度泄露训练数据理解

    本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

    Nov, 2021

  • 联邦学习中潜在信息泄露的逐层特征化

    该论文通过定义两个基于 V-information 和 Jacobian 矩阵的度量标准，分析属性推断攻击，测量作为迭代模型接口的梯度的改变，进而在实践中评估联邦学习下隐私信息泄漏的数量。

    Oct, 2020

  • 医疗数据隐私保护的分布式深度学习

    本研究介绍了一种在分布式情况下使用差分隐私训练临床数据神经网络的方法，并在 eICU 协作研究数据库和 The Cancer Genome Atlas 上进行了验证。

    Dec, 2018

  • Dropout 对抗梯度泄漏

    本文提出了在分类器前使用额外的 dropout 层的方法来防止原始数据泄露，以解决在 federal learning 和机器学习中的潜在问题。

    Aug, 2021

  • 关于正则化对抗隶属推断攻击的有效性

    探索深度学习模型对隐私泄露的影响及规避方法，并评估不同正则化机制对防御成员推理攻击的有效性与隐私保护性。

    Jun, 2020

  • 梯度深度泄露

    该论文通过实验证明了在现代多节点机器学习系统中，梯度交换流程中存在着可以泄露隐私数据的问题。作者指出梯度裁剪是当前最有效的解决方案。

    Jun, 2019

  • 神经网络潜在表征中的对抗性机器学习

    通过信息论的背景将此问题转化为信息失真和鲁棒性的两个新度量，我们对分布式深度神经网络（DNNs）对抗行为的鲁棒性进行了严格分析，并通过考虑 6 种不同的 DNN 架构、6 种不同的分布式 DNN 方法和对 ImageNet-1K 数据集进行 10 种不同的对抗攻击的广泛实验分析来验证我们的理论发现。实验结果支持我们的理论发现，显示出压缩的隐含表示可以在最佳情况下将对抗性攻击的成功率降低 88％，平均降低 57％，与对输入空间的攻击相比。

    Sep, 2023