MAPL: 模型无关的点对点学习
一种考虑了分散式机器学习和数据保护的联邦学习方式,通过构建本地图和局部连接来训练个人的、个性化的非线性模型,实现了低通讯成本和对数据的隐私保护。
Jan, 2019
MAPL 是一种有效的参数少、可复用预训练模型并利用其在多模态视觉语言领域中的强大泛化能力的方法,能够将不同模态的模型的表示空间通过对齐的图像文本数据进行轻量级映射,从而在现场学习过程中减少训练量并产生较好的性能。
Oct, 2022
通过这项工作,我们提出了一种对抗恶意服务器、抵御恶意客户端的点对点学习方案,核心贡献是一个通用框架,使得兼容的模型更新聚合算法能够在服务器和客户端恶意行为的环境下运行。此外,我们展示了我们的方法在由数百个节点对标准数据集训练的百万参数模型上的计算效率。
Oct, 2023
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标,从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估,我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。
Jun, 2024
本文提出了一种名为 PANM 的分布式学习算法,该算法适用于异构且分散的客户端,并通过对等通信自适应地形成一个有效的聚类拓扑结构。经过理论分析和大量实验证明,该算法的性能优于传统的集中式聚类 FL 方法和其他 P2P 方法。
Mar, 2022
通过开发 P4(Personalized Private Peer-to-Peer)方法解决个性化学习中的客户聚类和数据隐私的挑战,保证每个客户在培训期间和培训后维护不同的隐私保证,并在多个基准数据集和不同的神经网络模型上展示了相对于差分隐私 P2P 技术的高达 40%的精确度提高。
May, 2024
在工业场景中,针对大量未标记数据和难以识别的异常问题,本研究引入了一种名为记忆增强与伪标记的新方法(MAPL),通过模拟异常样本、使用基于单分类器组合的伪标记方法以及引入记忆增强学习机制,实现了直接从输入数据识别异常区域,优化了检测的效率和实时性,在最新的 BHAD 数据集上取得了 86.2%的平均图像级 AUROC 分数,相比原始 MemSeg 模型提高了 5.1%。
May, 2024
本论文研究了一组学习代理在协作对等网络中,每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法,以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型,同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中,代理共同学习和传播其模型,基于其本地数据集和邻居的行为进行迭代更新,为了优化这一具有挑战性的目标,我们的分散算法是基于 ADMM。
Oct, 2016
个性化联邦学习(PFL)在每个客户端寻找最优个性化模型,我们提出了一种分布式的个性化联邦学习(DPFL)框架,通过引入随机梯度推送和部分模型个性化,实现了线性分类器的个性化,达到了更好的收敛速度。
May, 2024
CML 是一种合作元学习框架,它通过向模型梯度中注入可学习的噪声进行模型泛化,而且引入无内部更新但有外部循环更新的合作学习者来增强梯度以获得更好的元初始化参数。CML 适用于梯度为基础的元学习方法,在少样本回归、少样本图像分类和少样本节点分类任务中表现出更好的性能。
Jun, 2024