Jun, 2024

高效通信与隐私保护的分散化元学习

PDF
TL;DR在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。
distributed learningdecentralized algorithmsmeta-learningcommunication costdata privacy
发现论文，激发创造
  • 具有快速收敛和高效通信的联邦元学习

    本文提出了一个联邦元学习框架 FedMeta，其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战，并在数据集上进行广泛实证研究，结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升，并对用户隐私进行保护。

    Feb, 2018

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 分散式神經網絡中的元學習：走向更為通用的 AI

    本研究致力于通过元学习算法解决神经网络在面对不确定性时难以适应环境变化的问题，并探讨如何利用去中心化神经网络 (Decentralized Neural Networks, Decentralized NNs) 在解决多重预测问题、构建层次化神经网络模型以及建立跨模态预测模型等方面实现自主智能机器的梦想。

    Feb, 2023

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • 差分隐私低秩适应大型语言模型的联邦学习

    通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

    Dec, 2023

  • 个性化联邦学习中的上下文调节和元学习

    提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面都有所提高，突出了将上下文信息和元学习技术融入联邦学习的潜力，为分布式机器学习范式的进步铺平了道路。

    Dec, 2023

  • 基于知识蒸馏的本地差分隐私分布式深度学习

    本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

    Feb, 2022

  • 个性化联邦学习：一种元学习方法

    本文研究了联邦学习的个性化变种，在 Model-Agnostic Meta-Learning 框架下，通过个性化 Federated Averaging 算法，根据不同用户数据的分布差异，探讨其性能的影响。

    Feb, 2020

  • 差分隐私的随机游走分散式学习

    去中心化学习中采用随机游走算法以节点间的通信图为边更新模型，通过 Pairwise Network Differential Privacy 推导出隐私损失，研究结果表明随机游走算法相较于热点算法在节点邻近情况下提供更好的隐私保证。

    Feb, 2024