安全协同机器学习的矩阵草图

ICMLSep, 2019

Matrix Sketching for Secure Collaborative Machine Learning

Mengjiao Zhang, Shusen Wang

TL;DR本文提出了一种名为 DBCL 的随机矩阵图像保护方案，可以保护协作学习中的隐私信息，有效防御基于梯度的隐私攻击，并且不会增加过多计算和通信开销，也不会影响测试准确性。

Abstract

collaborative learning allows participants to jointly train a model without data sharing. To update the model parameters, the central server broadcasts model parameters to the clients, and the clients send updating directions such as gradients to the server. While data do not leave a c

collaborative learning privacy preservation gradient-based attacks random matrix sketching double-blind collaborative learning

发现论文，激发创造

重审梯度修剪：一种用于抵御梯度攻击的双重实现

协作学习是一种分布式学习框架，旨在通过共享梯度更新，保护用户隐私。然而，梯度反演攻击对协作学习构成严重的隐私威胁。现有的防御方法在隐私、效用和效率之间存在着很大的折衷。为了克服现有解决方案的缺点，我们提出了一种新的防御方法，双梯度修剪（DGP），基于梯度修剪，可以提高通信效率，同时保护协作学习的效用和隐私。我们的实验证明，DGP 能够有效地抵御最强大的梯度反演攻击，并在不牺牲模型效用的情况下降低通信成本。

Jan, 2024

GAN 下的深度模型：来自协作深度学习的信息泄露

本文研究了协作深度学习的隐私问题以及差分隐私技术的应用，结果发现目前的方法都无法保护参与者的训练数据隐私，因为我们提出了一种基于生成对抗网络的攻击方法。

Feb, 2017

用于安全编码回归的迭代素描

本文提出了一种分布式加速线性回归的方法，通过使用随机化草稿技术和改善异步系统中的顽固者韧性来确保安全性，同时应用随机齐次正交矩阵和子采样块来安全获取信息和减少回归问题的维度。

Aug, 2023

Pencil: 私密且可扩展的协作学习，无需无合谋假设

Pencil 是第一种为协作学习提供数据隐私、模型隐私和可扩展性的私有训练框架，无需依赖于非勾结假设。

Mar, 2024

具有遗忘分布式差分隐私的抗串谋联邦学习

本研究提出了一种新的基于分布式差分隐私的隐私保护联合学习方法，其可以有效避免联合攻击，以及 “Sybil” 攻击，并给出了相应的安全性证明。在模拟的 5000 个分布式网络客户端上的实验结果表明，该协议执行速度快，学习准确率高，且具有良好的隐私保护性能。

Feb, 2022

协作学习隐私防护：通过客户端检测来缓解注入攻击

本文提出了一种新的防御方案，使用客户端交叉验证检测异常更新，以便在进行聚合时调整更新的权重，从而检测可分布式、具有保障隐私的有毒更新，实验证明其显著抵御两种代表性中毒攻击。

Oct, 2019

鲁棒性和实时安全的无服务器协作学习

通过这项工作，我们提出了一种对抗恶意服务器、抵御恶意客户端的点对点学习方案，核心贡献是一个通用框架，使得兼容的模型更新聚合算法能够在服务器和客户端恶意行为的环境下运行。此外，我们展示了我们的方法在由数百个节点对标准数据集训练的百万参数模型上的计算效率。

Oct, 2023

基于加性同态加密的深度神经网络用于非对称协作机器学习

本文提出一种不对称协作机器学习的实用方案，其中一方拥有数据，另一方仅拥有标签，提出了一种新的保护隐私的架构方案，可以有效地帮助两方合作训练深度学习模型。

Jul, 2020

隐私保护协作机器学习的可扩展方法

该研究提出了 COPML 算法，这是一个完全去中心化的训练框架，可以保护数据隐私并实现可伸缩性，使用对个体数据进行安全编码的方式在多方之间分发计算负载，并以分布式方式执行训练计算和模型更新。实验演示了 COPML 相较于基准协议在训练速度上可实现高达 16 倍的加速。

Nov, 2020

无窥视：私有分布式深度学习综述

本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据泄露和通信效率方面的优缺点，并分享了未来的趋势。

Dec, 2018