去中心化学习中的隐私保护、抗干扰聚合

Apr, 2024

去中心化学习中的隐私保护、抗干扰聚合

Privacy-Preserving, Dropout-Resilient Aggregation in Decentralized Learning

Ali Reza Ghavamipour, Benjamin Zi Hao Zhao, Fatih Turkmen

TL;DR分布式学习是机器学习中一种新颖的范例，通过在客户端之间分发训练数据而不进行集中聚合来提升可扩展性和效率。本文提出了三种基于秘密共享的抗丢失模型的隐私保护方法，通过在多个数据集上进行实验评估了这些方法的效率、性能和准确性。实验结果表明，我们的方法在保护隐私和抵御客户端丢失的场景中表现显著优于传统方法，尤其适用于大型模型、较高的丢失率和复杂的客户端网络。

Abstract

decentralized learning (DL) offers a novel paradigm in machine learning by distributing training across clients without central aggregation, enhancing scalability and efficiency. However, DL's peer-to-peer model raises challenges in protecting against inference attacks and privacy leak

decentralized learning privacy-preserving aggregation methods client dropout secret sharing-based dropout resilience approaches privacy and dropout robustness

发现论文，激发创造

去中心化学习的隐私保护聚合算法及其拜占庭容错性

SecureDL 是一种新颖的分布式机器学习协议，通过安全多方计算保护客户端模型更新的隐私，提高对拜占庭威胁的安全性和隐私保护。该协议使用余弦相似度的有效计算和更新的归一化来稳健地检测和排除对模型收敛有害的模型更新，并在多种拜占庭攻击中表现出很高的有效性，并保持较高的训练准确性。

Apr, 2024

隐私保护机器学习的高效抗辍学聚合

本文提出了一种可切换的、可扩展的、高容错的隐私保护聚合方案，用于隐私保护机器学习中。

Mar, 2022

超越噪声：带有虚拟节点的隐私保护去中心化学习

Shatter 是一种新型的分散式学习方法，通过创建虚拟节点（VNs）来增强隐私保护，防止攻击者收集完整模型并隐藏原始节点的身份。该方法在提高隐私安全性的同时，对于模型收敛性也有积极影响。

Apr, 2024

无窥视：私有分布式深度学习综述

本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据泄露和通信效率方面的优缺点，并分享了未来的趋势。

Dec, 2018

低成本注重隐私的分散式学习

介绍了 ZIP-DL 这一创新的隐私保护分散式学习算法，通过在模型训练过程中添加相关噪声的方法来确保噪声在聚合过程中几乎自动中和，最小化对模型准确性的影响；ZIP-DL 不需要多次通信来进行噪声抵消，解决了隐私保护和通信开销之间的常见权衡问题，并提供了收敛速度和隐私保证的理论保证，从而使其适用于实际场景；详尽的实验研究表明，ZIP-DL 在漏洞性和准确性之间取得了最佳平衡，特别是相比基线 DL，(i) 将可链接性攻击的有效性降低了最多 52 个百分点，并且 (ii) 在面对针对隐私保护竞争对手的成员推断攻击时，相同漏洞下的准确性提高了最多 37 个百分点。

Mar, 2024

使用分散聚合进行具有差分隐私的联邦学习

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

混洗模型下的可扩展差分隐私分布式聚合

该论文提出了一个在混淆模型下更高效的隐私安全的聚合协议，可以使得通信量和误差只呈对数级增长，并且采用了一个称为 ' 隐身斗篷 ' 的新技术来实现此目的，该技术可以使得每个数据项与噪声几乎不可区分，同时对总和不会造成任何扭曲。

Jun, 2019

住宅短期负荷预测的隐私保护分布式学习

在电力系统领域，住宅用户在负荷预测应用中的日益参与加剧了对数据隐私的关注。为了解决这些问题，我们提出了一种基于 Markov 切换的分布式训练框架，通过严谨的理论分析证明了其收敛性，该拓扑结构对毒化攻击具有很强的鲁棒性，并且通过使用实际的电力系统负荷数据进行的案例研究验证了我们提出算法的有效性。

Feb, 2024

基于知识蒸馏的本地差分隐私分布式深度学习

本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

Feb, 2022

隐私保护机器学习的分布式信任框架

本文介绍了一种分布式基础设施，用于实现分布式代理之间的点对点信任，从而协同执行保护隐私的机器学习工作流程。使用 Hyperledger Aries，Decentralised Identifiers (DIDs) 和 Verifiable Credentials (VCs) 建立了一个分布式信任体系，促进与心理健康护理相关的联邦学习工作流程。

Jun, 2020