Feb, 2024

基于不确定性的离散异构数据隔离中可扩展代码本的联合学习

PDF
TL;DR利用分布式数据集的联邦学习（FL）面临数据异质性的挑战。我们提出一种名为基于不确定性的可扩展码本联邦学习（UEFL）的创新而简单的迭代框架，通过动态映射潜在特征到可训练的离散向量，并评估不确定性，专门扩展那些具有高不确定性的数据集的离散化字典或码本，从而在保持最小计算开销的同时明确解决数据分布的多样性，通过在五个数据集上进行实验，我们的方法展现了明显的优越性，实现了显著的准确度提升（3%--22.1%）和不确定性降低（38.83%--96.24%），超过了当代最先进的方法。
federated learningheterogeneityuncertaintyiterative frameworkdiscretization
发现论文，激发创造
  • UVeQFed：联邦学习的通用向量量化

    本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为 UVeQFed 的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。

    Jun, 2020

  • 边缘联邦学习的编码计算

    CodedFedL extends CFL to distributed non-linear regression and classification problems with multioutput labels by exploiting distributed kernel embedding using random Fourier features that transforms the training task into distributed linear regression, providing an analytical solution for load allocation and significant performance gains over benchmark datasets using practical network parameters.

    Jul, 2020

  • FedCode: 通过传输密码本实现高效沟通的联邦学习

    FedCode 是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与 FedAvg 相当的模型性能。

    Nov, 2023

  • CUCL: 无监督连续学习的代码手册

    本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

    Nov, 2023

  • 具有共享和个性化不确定性表示的贝叶斯个性化联邦学习

    Bayesian 个性化联邦学习（BPFL）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，并联合学习共享和个性化的不确定性表示。

    Sep, 2023

  • 跨领域用户级差分隐私的联邦学习 ULDP-FL

    我们提出了一种新的联邦学习框架 ULDP-FL，它通过每个用户的加权剪裁直接保证用户级差分隐私，在通用的跨域联邦学习中有效地提供了用户级差分隐私，并在隐私 - 效用权衡方面相比基线方法有了显著的改进。

    Aug, 2023

  • 仅使用未标记数据的联邦学习与条件共享客户端

    本文介绍未监督联邦学习，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享，即联邦未监督学习（FedUL）模型。FedUL 是通用的未监督联邦学习解决方案，可兼容许多监督 FL 方法，实验结果表明了 FedUL 的有效性。

    Apr, 2022

  • 异构集成知识迁移用于联邦学习中的大模型训练

    本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

    Apr, 2022

  • EasyFL: 低代码联邦学习平台

    本文介绍了一种名为 EasyFL 的低代码平台，可用于支持联邦学习方法。该平台不仅易于使用，而且具有模块化设计和简单的 API，可用于加速实验和部署。EasyFL 提供了多个功能，如模拟、全面跟踪、分布式培训优化和无缝部署，从而使联邦学习方法被更广泛地使用，并帮助提高研究人员的生产力。

    May, 2021

  • NeFL: 异构客户端的嵌套联邦学习

    嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

    Aug, 2023