Sep, 2020

POSEIDON：隐私保护的联邦神经网络学习

PDF
TL;DR本文介绍了 POSEIDON 系统，使用多方格基密码学在 N 方联邦学习情境下保留训练和评估数据的保密性，以及提出了通用的打包方法来在加密数据上执行单指令多数据操作的安全反向传播算法，结果表明 POSEIDON 的准确率与中心化或分散式非私人方法相当，同时其计算和通讯开销随参与方数量线性缩放。
发现论文，激发创造
  • 金融异常检测的垂直和水平分割数据上的隐私保护联合学习

    我们提出了一种新颖的解决方案 PV4FAD，它结合了全同态加密 (HE)、安全多方计算 (SMPC)、差分隐私 (DP) 和随机化技术，以在训练期间平衡隐私和准确性，并防止模型部署时的推理攻击。

    Oct, 2023

  • Poseidon: 多机高效 GPU 深度学习系统架构

    提出 Poseidon 系统架构用于现有 DL 框架的分布式 GPU 训练，包含三个核心贡献：支持 CPU 和 GPU，改进 GPU 利用和通信平衡的分布式等待无后向算法以及最小化通信开销的结构感知通信协议；在 8 个节点的 GPU 群集上，与最先进的 CPU 分布式系统竞争，获得 22K 数据集上更好的加速比和有竞争力的准确性。

    Dec, 2015

  • 隐私保护联邦学习的混合方法

    本文提出了一种结合差分隐私和安全多方计算的联邦学习方法，在保证训练和最终模型的隐私性的同时，也能够保持较高的预测准确率，这个系统不仅能应用于多种机器学习模型的训练，而且在实验上验证了它的优越性。

    Dec, 2018

  • 无破坏：隐私保护和拜占庭强健的联邦学习

    本文旨在构建一个隐私保护、拜占庭强健的联邦学习方案，提供一个无破坏者环境，以保护数据隐私并排除恶意攻击者。我们通过构建模型过滤器、采用零知识证明提供进一步的隐私保护、采用秘密共享提供可验证的安全聚合，证明了 NoV 能有效应对包括 PGD 在内的数据和模型污染攻击，并超越其他相关方案。

    Jun, 2024

  • Poseidon: 适用于 GPU 集群分布式深度学习的高效通讯架构

    Poseidon 是一种用于 GPU 分布式深度学习的高效通信架构，利用分层模型结构以减少网络通信，且在不同框架中均可使用，可实现 15.5 倍的速度提升。

    Jun, 2017

  • 基于神经网络的新型不平衡和非独立同分布数据的联邦学习系统

    通过提出集中式的、基于神经网络的联邦学习系统，利用边缘计算减少中央服务器的负载，同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。

    Nov, 2023

  • 规模安全分布式训练

    本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

    Jun, 2021

  • 无窥视：私有分布式深度学习综述

    本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据泄露和通信效率方面的优缺点，并分享了未来的趋势。

    Dec, 2018

  • 基于隐私保护的神经架构搜索

    使用安全多方计算方法构建隐私保护的神经架构搜索框架，其中使用重新设计的 ReLU 和 Max-pooling 保混乱电路以及对秘密共享的 Softmax 函数的新替代方法，分析和实验表明其在安全性，效率和准确性方面具有优越性。

    Apr, 2022

  • 具有遗忘分布式差分隐私的抗串谋联邦学习

    本研究提出了一种新的基于分布式差分隐私的隐私保护联合学习方法，其可以有效避免联合攻击，以及 “Sybil” 攻击，并给出了相应的安全性证明。在模拟的 5000 个分布式网络客户端上的实验结果表明，该协议执行速度快，学习准确率高，且具有良好的隐私保护性能。

    Feb, 2022