- 去中心化个性化联邦学习
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强 - FedDr+: 使用全局特征蒸馏稳定点回归的联邦学习
FedDr + 是一种新的算法,通过使用点回归损失进行本地模型对齐,冻结分类器以实现特征对齐,并采用特征蒸馏机制保留有关未见 / 缺失类别的信息,从而有效地整合个体客户端的知识,提高全局和个性化联邦学习的性能。
- MAPL: 模型无关的点对点学习
在去中心化环境中,有效协作是一个不太被探索的领域。为了解决这个问题,我们引入了模型不可知的点对点学习(简称 MAPL),通过邻近客户之间的点对点通信,同时学习异构个人化模型和协作图。我们的实验证明了 MAPL 的有效性以及与集中式无模型对应 - FAM:快速自适应元学习
我们提出了一种快速自适应联邦元学习(FAM)框架,用于协同学习单个全局模型,并可以在各个客户端上进行个性化定制。实验结果表明,在有限的迭代次数内,每个客户端的个性化客户端模型优于本地训练模型,从而显示出 FAM 机制的有效性。此外,通信开销 - 基于图模型先验的结构化合作学习
本文介绍了一种 Structured Cooperative Learning(SCooL)的方法,用于训练分布在不同设备上的个性化模型,并在不同的 Cooperation Graph 之间进行自动协调,具有很好的效果和通信效率。
- MobileASR:一款面向移动电话的资源感知型设备端个性化自动语音识别框架
本论文介绍了一种利用移动手机有效训练 ASR 模型的方法,该方法考虑了手机资源的限制,并使用了资源感知的子模型训练方法,通过分析手机的 RAM 和电池能力,达到了高效训练的效果。本论文利用各种口音的说话人来模拟真实用户,使用了各种品牌的手机 - Fed-ZERO: 基于联邦专家混合的零样学习个性化方案
本文提出了一种在 Federated Learning 框架下使用混合专家(Mixture-of-Experts)框架来实现零 - shot 个性化的方法。使用此方法时,我们的模型在保持零 - shot 表现的同时,可以在端到端过程中加入预 - 渐进性发音障碍对 ASR 性能的分析
本文分析了自动语音识别模型在变化的语音环境下的性能衰减问题和如何通过个性化模型、连续录音等方法实现优化识别的目的。
- 个性化联邦学习与通信压缩
本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型,以解决数据异质性带来的问题,并对新算法 Loopless Gradient Descent 进行了压缩优化,实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 - IJCAI人类不是玻尔兹曼分布:应对强化学习中人类反馈与交互建模的挑战与机遇
该论文呼吁从不同学科出发进行研究,以解决人类如何向人工智能提供反馈以及如何构建更健壮的基于人类协作的强化学习系统的关键问题,并提出人类模型必须是个性化,情境化和动态的观点。
- 基于非独立同分布数据的 ASR 解耦联邦学习
使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题,该方法通过在本地保留一些层来学习个性化模型,并提出一种解离联邦学习,将计算负担移动到服务器端并通信安全高级特征而非模型参数,实验表明这两种方法可以与 FedAvg 相比降低 W - 部分模型个性化的联邦学习
研究内容为探讨联邦学习算法中,共享参数和个性化参数同时或交替更新,以及在非凸有限参与的情况下的收敛性分析,实验证明部分个性化模型效果同等于全模型个性化效果,且交替更新算法在一定程度上优于同时更新算法。
- 音视频语音编解码器:重新思考音视频语音增强通过再合成的方法
本文提出了一种新的音频 - 视觉语音增强框架,利用个人化模型和神经语音编解码器从嘈杂的信号中高效合成真实干净的语音,以提高增强幅度和视角方面的质量。
- ACL演讲者信息可指引模型更好地应用归纳偏好:以代码交替预测为例的案例研究
通过在受控的、受过教育的方式下丰富模型的说话人信息,可以指导模型捕捉相关的归纳偏差。在预测英语 - 西班牙双语对话中的代码切换点的任务中,加入基于社会语言学的说话者特征可以显著提高准确性。此外,我们发现通过将有影响力的短语添加到输入中,基于 - AAAIFedFR: 通用与个性化人脸识别联合优化联邦学习框架
本论文提出了一种基于联邦学习的面部识别框架,名为 FedFR,它通过提出的解耦特征自定义模块共同优化对应客户的个性化模型,从而在保护隐私的情况下提高了通用面部表征的质量,同时最大限度地满足了本地设备已注册身份的优化面部识别体验的需求,并且在 - 混合分布下的联邦多任务学习
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
- QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习
本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法,旨在协同处理具有不同资源和数据异构性的客户端,以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法,实现了在不同的模型维度 / 结构和精度方 - AAAI联邦块坐标下降方案用于学习全局和个性化模型
文章提出了一种二次罚函数公式,用于训练全局模型并允许个性化本地模型,并且通过采用分层结构建模云和边缘设备之间的通信(同时也适用于云内部的通信),解决了边缘设备异构训练时间引起的延迟问题。理论与实验都证实,这种系统可以更快地收敛于在边缘设备上 - 面向边缘计算的个性化深度神经网络联合学习
该研究提出了一种多任务联邦学习算法,通过添加非联邦批归一化层来允许用户训练个性化的模型,该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。
- IJCAIFedHealth:一种用于可穿戴医疗的联邦迁移学习框架
本文提出了 FedHealth 框架,该框架利用联邦学习进行数据聚合,并通过迁移学习构建个性化模型,从而实现准确且个性化的医疗保健,同时不会损害隐私和安全。实验表明,FedHealth 在可穿戴活动识别方面比传统方法具有更高的准确性(增加了