Jun, 2023

去中心化学习系统中以较少为更多

PDF
TL;DR本文介绍了 JWINS，一种通信高效且完全分散的学习系统，通过稀疏化仅共享少量参数，使用小波变换和随机通信切断降低信息损失并减少传输字节数，可在非 I ID 数据集上训练出接近于全共享的 DL 准确率，且可节省多达 64% 的字节数，在低通信预算下优于 CHOCO-SGD 算法。
decentralized learningdl systemsjwinssparsificationcommunication-efficient
发现论文，激发创造
  • 能源感知的分散式学习与间歇模型训练

    SkipTrain 是一种新的分散式学习算法，通过策略性地跳过一些训练轮次并用同步轮次代替，从而减少能耗，并且在能耗减少的同时，能够获得比传统的 DL 算法更高精度的模型。

    Jul, 2024

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • 使用 DecentralizePy 轻松实现去中心化学习

    本文提出了一个名为 DecentralizePy 的分布式框架，用于在任意拓扑结构下仿真大规模的去中心化学习网络，展示了在不同拓扑结构及节点数量下的去中心化学习所需的技术，包括剪枝和安全聚合。

    Apr, 2023

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • 基于无线 D2D 网络的分散联邦学习

    本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

    Feb, 2020

  • 超越噪声：带有虚拟节点的隐私保护去中心化学习

    Shatter 是一种新型的分散式学习方法，通过创建虚拟节点（VNs）来增强隐私保护，防止攻击者收集完整模型并隐藏原始节点的身份。该方法在提高隐私安全性的同时，对于模型收敛性也有积极影响。

    Apr, 2024

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 任意通信压缩下的分散式深度学习

    该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

    Jul, 2019

  • 规模安全分布式训练

    本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

    Jun, 2021

  • 差分隐私的随机游走分散式学习

    去中心化学习中采用随机游走算法以节点间的通信图为边更新模型，通过 Pairwise Network Differential Privacy 推导出隐私损失，研究结果表明随机游走算法相较于热点算法在节点邻近情况下提供更好的隐私保证。

    Feb, 2024