能源感知的分散式学习与间歇模型训练

Jul, 2024

能源感知的分散式学习与间歇模型训练

Energy-Aware Decentralized Learning with Intermittent Model Training

Akash Dhasade, Paolo Dini, Elia Guerra, Anne-Marie Kermarrec, Marco Miozzo...

TL;DRSkipTrain 是一种新的分散式学习算法，通过策略性地跳过一些训练轮次并用同步轮次代替，从而减少能耗，并且在能耗减少的同时，能够获得比传统的 DL 算法更高精度的模型。

Abstract

decentralized learning (DL) offers a powerful framework where nodes collaboratively train models without sharing raw data and without the coordination of a central server. In the iterative rounds of DL, models are trained locally, shared with neighbors in the topology, and aggregated w

decentralized learning model aggregation energy consumption skiptrain dl algorithm

发现论文，激发创造

去中心化学习系统中以较少为更多

本文介绍了 JWINS，一种通信高效且完全分散的学习系统，通过稀疏化仅共享少量参数，使用小波变换和随机通信切断降低信息损失并减少传输字节数，可在非 I ID 数据集上训练出接近于全共享的 DL 准确率，且可节省多达 64% 的字节数，在低通信预算下优于 CHOCO-SGD 算法。

Jun, 2023

受能量和延迟约束的自适应分散式联邦学习

在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

Mar, 2024

使用 DecentralizePy 轻松实现去中心化学习

本文提出了一个名为 DecentralizePy 的分布式框架，用于在任意拓扑结构下仿真大规模的去中心化学习网络，展示了在不同拓扑结构及节点数量下的去中心化学习所需的技术，包括剪枝和安全聚合。

Apr, 2023

基于图稀疏化的高能效分散式学习

通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。

Jan, 2024

基于分散数据通信高效学习深度网络

Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016

高效通信与隐私保护的分散化元学习

在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。

Jun, 2024

当群集学习遇见能量系列数据：基于区块链的去中心化协作学习设计

采用基于区块链的分布式网络的群智学习方案可以解决能源领域数据敏感性引发的安全和隐私问题，提升模型性能、增强数据安全性和隐私保护。

Jun, 2024

基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

Apr, 2024

去中心化学习中的隐私保护、抗干扰聚合

分布式学习是机器学习中一种新颖的范例，通过在客户端之间分发训练数据而不进行集中聚合来提升可扩展性和效率。本文提出了三种基于秘密共享的抗丢失模型的隐私保护方法，通过在多个数据集上进行实验评估了这些方法的效率、性能和准确性。实验结果表明，我们的方法在保护隐私和抵御客户端丢失的场景中表现显著优于传统方法，尤其适用于大型模型、较高的丢失率和复杂的客户端网络。

Apr, 2024

超越噪声：带有虚拟节点的隐私保护去中心化学习

Shatter 是一种新型的分散式学习方法，通过创建虚拟节点（VNs）来增强隐私保护，防止攻击者收集完整模型并隐藏原始节点的身份。该方法在提高隐私安全性的同时，对于模型收敛性也有积极影响。

Apr, 2024