异构联邦知识图谱嵌入的学习和遗忘

WWWFeb, 2023

异构联邦知识图谱嵌入的学习和遗忘

Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning

Xiangrong Zhu, Guangyao Li, Wei Hu

TL;DR本文提出了一种新的 FL 框架 ——FedLU，用于异构的 KG 嵌入学习和遗忘，利用相互的知识蒸馏来处理数据异质性造成的局部优化与全局收敛之间的漂移，并提出一种基于认知神经科学的遗忘方法，结合了逆行干扰和被动衰减，通过重用知识蒸馏来从本地客户端中抹除特定的知识并传播到全局模型。实验结果表明 FedLU 在链接预测和知识遗忘方面都取得了优秀的结果。

Abstract

federated learning (FL) recently emerges as a paradigm to train a global machine learning model across distributed clients without sharing raw data. Knowledge Graph (KG) embedding represents KGs in a continuous vector space, serving as the backbone of many knowledge-driven applications

federated learning knowledge graph embedding heterogeneous learning mutual knowledge distillation unlearning

发现论文，激发创造

分布式知识图谱通过扩散模型实现遗忘

本文提出了 FedDM, 一种面向联邦知识图的模型遗忘的新框架，通过扩散模型生成噪声数据以合理地减轻特定知识对 FL 模型的影响，同时保持其对剩余数据的整体性能，并通过对基准数据集进行实验评估证明 FedDM 在知识遗忘方面具有良好的效果。

Mar, 2024

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦取消学习：方法、设计指导和评估指标综述

本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Jan, 2024

KnFu: 有效的知识融合

分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

Mar, 2024

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

联邦学习中的知识编辑：视角、挑战和未来方向

这篇文章是一篇关于联邦学习中知识编辑的综述性论文，其中介绍了一个被称为 Federated Editable Learning 的整合范式，并提供了现有方法的综合概述，评估了它们在提出的范式内的位置和它们面临的挑战，并探索未来研究的潜在途径和未解决问题。

Jun, 2023

SoK：联邦反学习的挑战与机遇

这篇论文从事一项关于联邦消除学习（federated unlearning）的研究，通过对已发表的联邦学习消除（FL unlearning）相关论文的分类和分析，探讨了联邦学习消除领域的研究趋势和挑战，比较了现有联邦学习消除方法的影响消除和性能恢复能力，以及他们的假设和局限性。该研究为未来联邦学习消除的研究提供了洞见和建议。

Mar, 2024

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021