无窥视：私有分布式深度学习综述

Dec, 2018

无窥视：私有分布式深度学习综述

No Peek: A Survey of private distributed deep learning

Praneeth Vepakomma, Tristan Swedish, Ramesh Raskar, Otkrist Gupta, Abhimanyu Dubey

TL;DR本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据泄露和通信效率方面的优缺点，并分享了未来的趋势。

Abstract

We survey distributed deep learning models for training or inference without accessing raw data from clients. These methods aim to protect confidential patterns in data while still allowing servers to train models. The distributed deep learning methods of →

distributed deep learning federated learning split learning privacy-preserving techniques neural networks

发现论文，激发创造

GAN 下的深度模型：来自协作深度学习的信息泄露

本文研究了协作深度学习的隐私问题以及差分隐私技术的应用，结果发现目前的方法都无法保护参与者的训练数据隐私，因为我们提出了一种基于生成对抗网络的攻击方法。

Feb, 2017

医疗数据隐私保护的分布式深度学习

本研究介绍了一种在分布式情况下使用差分隐私训练临床数据神经网络的方法，并在 eICU 协作研究数据库和 The Cancer Genome Atlas 上进行了验证。

Dec, 2018

多源私有数据上的高效深度学习

Myelin 是一种深度学习框架，它结合了安全和隐私保护原则，使用可信硬件区域和差分隐私等技术以实现完全私密的机器学习模型训练。

Jul, 2018

深度学习差分隐私模型发布

提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

Apr, 2019

深度学习中的隐私：综述

本文综述了深度学习中面临的隐私问题，以及已经提出的解决这些问题的技术，并提出了未来研究方向。

Apr, 2020

深度学习与差分隐私

本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

Jul, 2016

NoPeek：减少信息泄露以在分布式深度学习中共享激活

本文提出了一种基于距离相关性降低原始数据和中间表示之间信息泄露的分布式深度学习方法，以应对敏感数据对分布式机器学习服务的限制。该方法在训练和推断过程中通过减少数据和表示之间的距离相关来预防原始数据的重构攻击。实验证明该方法能够有效保护隐私信息并保持高的分类准确率。

Aug, 2020

具有贝叶斯隐私的联邦深度学习

通过提出的 Bayesian Privacy 框架，本文的研究成功地量化了隐私损失，证明了其安全的隐私保护能力，通过各种深度神经网络图像分类 MNIST、CIFAR10 和 CIFAR100 的实验结果，演示了一种新的联邦深度学习方法，该方法使用私有通行证层，具有高模型性能、隐私保护能力和低计算复杂性的特点。

Sep, 2021

规模安全分布式训练

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

基于知识蒸馏的本地差分隐私分布式深度学习

本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

Feb, 2022