音频分类的零样本联邦学习中的新类别
用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题,本文提出了一种基于估计方案的设备选择算法,以最小化类别不平衡来提高联邦学习全局模型的收敛性能。
Nov, 2020
本文探讨了在联邦学习(FL)中使用用户反馈进行标记和降噪以提高 ML 模型性能的新方法,通过两个文本分类数据集的实验表明该方法在保护隐私的同时提高了模型的性能。
May, 2022
本篇论文提出了一种名为 FedCNI 的方法,通过使用噪声鲁棒局部求解器和强健的全局聚合器,在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战,并在混合异构 FL 场景中实现了比现有技术更好的性能。
Apr, 2023
本研究提出一种新方法来解决联邦学习中的问题,并在本文所述的公开基准数据集(如 Femnist)以及自己收集的数据集(即流量分类)上验证了该方法的有效性,结果表明这种方法在极端情况下具有显著的优势。
Nov, 2020
邻联学习是一种处理分布式学习问题的重要方法,该论文提出了一种新的邻联学习系统,通过使用零样本数据增强来解决客户端数据统计异质性的问题,以提高联邦网络中客户端之间的精度一致性和公平性。
Apr, 2021
本文介绍了一种新颖的问题:在联合学习场景下,如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题,提出了联合少样本学习框架,并进行了大量实验,证明了该框架的有效性。
Jun, 2023
采用新的真实数据分布,提出一种名为 FedIIC 的隐私保护框架,该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差,并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明,FedIIC 在处理两种耦合问题的同时,具有更优越的性能。
Jun, 2022
我们提出了一种轻量级的无监督联邦学习方法,通过利用每个客户端上的无标签数据进行轻量级模型训练和通信,从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型(例如 CLIP)的零样本预测能力和经过训练的图像编码器,通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签,并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明,我们的方法大大提高了模型性能,与 CLIP 的零样本预测相比,甚至超过了有限计算和通信开销的监督式联邦学习基准方法。
Apr, 2024
本文提出了一种在 Federated Learning 框架下使用混合专家(Mixture-of-Experts)框架来实现零 - shot 个性化的方法。使用此方法时,我们的模型在保持零 - shot 表现的同时,可以在端到端过程中加入预训练模型的知识以增强其路由决策,并在常见的 FL 基准测试中使性能提高 18%。
Jun, 2023
我们提出了一种新颖的联邦类增量学习方法(FCIL),命名为具有新类增强的自我蒸馏(FedNASD)。FedNASD 通过将当前模型推断的新类分数与历史模型的预测相结合,基于过去和现在的知识,它在客户端上进行自我蒸馏,旨在实现从历史模型到当前模型的有效知识转移。理论分析表明,在没有新类的情况下,FedNASD 等效地对旧类分数建模为条件概率。此外,它通过将新类的预测与当前模型相结合,以修正历史得分的条件概率,在不存在新类的情况下。经验实验表明,FedNASD 在降低平均遗忘率和提高全局准确性方面优于其他四种基准算法。
Jan, 2024