- ICML图转换器中的过度全局化问题：精简即效果提升
我们在这篇论文中挑战了图变换器的全局化特性是否总是有益的观点，揭示了图变换器中的全局化问题，提出了一种新颖的双层全局图变换器与协作训练模型，以解决这一问题，并通过大量实验证明了我们提出的 CoBFormer 的有效性。
- FedEval-LLM：基於集體智慧的對下游任務進行大型語言模型的聯邦評估
提出了一种名为 FedEval-LLM 的大型语言模型联邦评估框架，通过利用参与者提供的个性化语言模型，提供了一种可靠的大型语言模型在下游任务中的性能测量方式，确保了强大的隐私保护能力，解决了传统评估方法和对外部服务的依赖性的限制，是协作训 - HSViT：水平可扩展的视觉 Transformer
这篇论文介绍了一种新型的水平可伸缩视觉转换器 (HSViT)，通过引入新的图像级特征嵌入和设计创新的水平可伸缩架构，以减少模型的层数和参数数量，并促进 ViT 模型在多个节点上的协同训练和推理，从而实现比现有方案高多达 10% 的 top- - FedBRB：设备异构联邦学习中小到大场景的有效解决方案
最近，大型模型的成功展示了扩大模型规模的重要性，这在联邦学习的视角下激发了对大规模模型的协同训练的兴趣。由于计算约束，许多机构在本地训练大规模模型时面临困难。因此，只使用较小的本地模型训练更大的全局模型已成为重要的场景。尽管最近的设备异构联 - OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型
通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。
- 协作方法：为了最大化跨边界联邦学习的泛化性能
分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。
- 个性化联邦学习中的所需学习内容
个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地 - 基于高效联邦学习方法的基础模型训练调研
Federated Learning (FL) 的研究论文主要讨论了在隐私保护的协作训练中应用小型深度学习模型的新方法以及在 FL 应用中操作基于 transformer 模型的必要性，介绍了一种专注于 FL 应用中计算和通信效率方法的新的 - AAAIFedCompetitors：竞争参与者的协调协作联邦学习
在这篇论文中，我们利用图论和整数线性规划，通过扩展平衡理论中的一个原则来确保在联邦学习生态系统中不存在利益冲突，从而确定每个 FL-PT 的合作者，解决了数据异质性和竞争性之间的冲突，并通过与其他五种方法的比较进行了实证研究来证明其有效性。
- EMNLPCoLLiE: 高效方式中的大型语言模型的协同训练
这篇论文介绍了 CoLLiE，一种高效的库，通过 3D 并行性、参数高效微调方法和优化器，如 Lion、Adan、Sophia、LOMO 和 AdaLomo，促进了大型语言模型的协作训练。CoLLiE 在预训练和微调场景中证明了其卓越的训练 - AdapterFL: 自适应异构联邦学习用于资源受限的移动计算系统
适应性异构联邦学习 (AdapterFL) 通过模型重组策略在资源受限的移动计算系统中实现大规模异构移动设备的协同训练，提高了综合性能并解决了资源不足的问题。
- AccEPT：边缘管道并行训练加速方案
本文提出了 AccEPT，一种用于加速边缘协同流水线 - 并行训练的加速方案，其中包括轻量级自适应延迟预测器以准确估计不同设备上每一层的计算延迟，并通过连续学习适应未见过的设备，以实现更好的模型划分来平衡参与设备上的计算负载。此外，我们还提 - VFLAIR: 垂直联邦学习的研究库和基准
VFLAIR 是一个可扩展且轻量级的 VFL 框架，支持多种模型、数据集和协议的 VFL 训练，包括各种攻击和防御策略的综合评估，以及在不同通信和模型划分设置下的 11 种攻击和 8 种防御策略的性能基准研究，为不同实际 VFL 部署场景的 - 对抗性语音合成的协作水印技术
用协同训练方案为合成语音水印化提供协助，并显示 HiFi-GAN 神经声码器与 ASVspoof 2021 基线反欺骗模型的合作训练能够持续提高检测性能，同时演示了协同训练如何与增强策略相结合以增强对噪声和时间拉伸的鲁棒性。最后，听测试表明 - 通过知识共享和个性化学习自动驾驶车辆的驾驶员模型
使用知识分享和个性化的方式描述了一种学习自动驾驶车辆（AVs）驾驶模型的框架，该模型在多个车辆之间进行知识分享，以提高其在真实世界中驾驶场景的暴露度。该方法通过共同训练一个驾驶模型，同时保留针对每个车辆独特条件和特性的个性化模型，实现了多个 - 健康信息学中深度学习模型的分布式协作训练的分割学习
深度学习在医疗预测任务上表现出了非凡的潜力，但跨医疗机构推广具有挑战性。本文介绍了如何通过分割学习实现跨不同医疗数据集的深度学习模型协作训练，并保持原始记录和模型参数的私密性。通过多个医学成像和电子健康记录数据集，研究表明，通过分割学习训练 - 联邦学习中的共享内容调查：模型效用、隐私泄露和通信效率的观点
通过从新的角度，即什么在联邦学习中共享，以模型效用、隐私泄露和通信效率为重点，系统调查了联邦学习方法的新分类、隐私攻击的脆弱性以及不同共享方法的性能与隐私保护的效力，并讨论了当前方法存在的潜在缺陷和未来改进的方向。
- 随机展开联合学习
介绍了 Stochastic UnRolled Federated learning（SURF），它是一种将算法展开（algorithm unrolling）应用于联邦学习的方法，通过在图神经网络（graph neural network） - 利用梯度衍生的度量对不同 ially private 训练中的数据选择和估值进行优化
研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。
- ICMLLESS-VFL: 用于联合学习的高效通信特征选择
本文提出了 LESS-VFL，这是一种用于垂直切分数据的分布式系统中的通信高效特征选择方法，通过优化服务器端的全局模型，然后将此信息分享给其他参与方，从而允许本地特征选择，进而提高模型的泛化性、效率和可解释性。