- 通过加法和低秩分解在联邦学习中解耦通用和个性化知识
FedDecomp 是一种简单而有效的个性化联邦学习范式,通过参数加法分解来解决数据异构性问题,从而更彻底地解耦共享和个性化知识,实现了比参数划分方法更好的性能。
- 基于特征融合的个性化联邦学习
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦 - KDD城市集中的多目标离线强化学习与对比数据共享
MODA 是一个多任务线下强化学习方法,通过对比数据共享来解决线下强化学习中的数据稀缺性和异质性问题,并且利用集成动力学模型和生成对抗网络构建鲁棒的马尔可夫决策过程,显著提升了城市决策过程。
- 联邦学习中的知识蒸馏:长期挑战和新解决方案综述
本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战,并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。
- 关于异质数据源对语音转文字基础模型的影响
通过分析数据集,我们引入了 OWSM v3.2,采用两种关键策略(代理任务筛选数据和使用大型开放语言模型进行标点符号和大小写处理),从而提高了 Open Whisper-style Speech Model v3.1 基线的性能,并减少了 - 去中心化个性化联邦学习
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强 - 基于增强的无监督跨领域功能磁共振成像适应用于重性抑郁症识别
本文提出了一种基于数据增强的无监督跨领域功能磁共振成像自适应(AUFA)框架,用于自动诊断 MDD(重度抑郁障碍)。实验证明,AUFA 在 MDD 鉴定方面优于几种最先进的方法,不仅减少了不同站点之间的数据异质性,还定位了与疾病相关的功能连 - 局部估计的全局扰动优于本地扰动的联邦锐度感知最小化
通过在联邦学习中本地估计全局扰动的方向,FedLESAM 算法提高了联邦 Sharpness-Aware Minimization(SAM)方法的质量和效率。
- P4: 私密、个性化和点对点学习
通过开发 P4(Personalized Private Peer-to-Peer)方法解决个性化学习中的客户聚类和数据隐私的挑战,保证每个客户在培训期间和培训后维护不同的隐私保证,并在多个基准数据集和不同的神经网络模型上展示了相对于差分隐 - ICMLFedCal:通过聚合参数化缩放器实现联邦学习中的本地和全局校准
通过提出一种新颖的联邦校准(FedCal)方法,将本地和全局校准相结合,使用客户端特定的标量来实现本地校准,并通过权重平均聚合来生成全局标量,从而显著减少全局校准误差。
- 克服联合学习中批归一化的挑战
在联合学习中,批量标准化 (Federated BatchNorm) 是一种新的机制,它在训练中保持一致性,确保批量标准化与中心化执行中所获得的一致,并准确估计全局统计数据,从而减少外部协变量转移和与中心化设置的评估性能匹配。此外,可以通过 - 基于分层狄利克雷过程的分布鲁棒优化中的力量借助
该论文介绍了一种新颖的优化框架,用于解决现代机器学习应用中的关键挑战:高维度、分布不确定性和数据异质性。该方法通过使用分层狄利克雷过程(HDP)先验,有效处理多源数据,实现正则化、分布鲁棒性,并在不同但相关的数据生成过程之间共享强度。通过建 - 基于 Maverick-Aware Shapley 估值的联邦学习中的客户选择
使用 Federated Learning 进行模型训练时,处理数据异质性和 Mavericks 等罕见数据的挑战很重要。本文提出了一种考虑 Mavericks 的 Shapley 估值方法,并利用 Maverick-aware SV-ba - 基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力
本文利用现有的一阶数据异质性假设,为本地 SGD 提供了新的下界,显示了这些假设不足以证明本地更新步骤的有效性。此外,在相同的假设下,我们证明了加速小批量 SGD 的极小 - 极大优化性质,完全解决了几个问题类的分布式优化。我们的结果强调了 - 平衡相似性与互补性:联邦学习
通过平衡相似性和互补性,我们引入了一种名为 FedSaC 的新型框架,在移动设备和物联网系统中实现了最佳合作网络,以优化模型相似性和特征互补性的加权和,进而解决了数据异质性和多模态情况下的合作问题,大大超过了其他最先进的联邦学习方法。
- 联合提示学习中通用化与个性化的协调
通过使用预先训练的视觉语言模型(VLM)调整提示,联邦提示学习(FPL)将大规模预训练的视觉语言模型(VLM)整合到联邦学习中,以达到在个性化和泛化之间取得平衡的目标。
- 使用基础模型导航联邦推荐系统的未来
综合评述了基于联邦学习和推荐系统的联邦推荐系统,讨论了数据异质性和数据稀缺性等固有限制,并介绍了基础模型的应用和研究方向,以及领域内的常见挑战、未来研究方向和评估指标。
- 异构和长尾数据上的多层个性化联邦学习
MuPFL 是一种创新的个性化联邦学习框架,通过多层次结构完全利用不同层次的计算资源,解决数据异质性对模型偏差的影响,缓解过拟合、加速训练,提高分类准确性,并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。
- SCALA:使用连接激活和逻辑调整进行分割联合学习
提出了一种名为 SCALA 的分布式机器学习框架,通过在服务器和客户端之间分离学习过程,并聚合基于分布式客户端数据更新的局部模型来共同训练共享模型。该框架解决了数据异质性和部分客户端参与导致的标签分布倾斜问题,并通过将客户端模型的激活连接起 - 去中心化快速梯度追踪的联邦极小化优化与本地更新
提出了一种名为 K-GT-Minimax 的新型去中心化的最小最大优化算法,结合了本地更新和梯度跟踪技术,证明了该算法在非凸强凹(NC-SC)最小最大优化问题上具有较高的收敛速度,能够处理数据异构性并确保鲁棒性,从而推动联邦学习研究和应用的