WWWMar, 2023

FedACK：面向跨语言和跨模型的社交机器人检测的联邦对抗对比知识蒸馏

PDF
TL;DR本文提出一种名为 FedACK 的新型联邦对抗式对比知识蒸馏框架来检测社交机器人，该框架采用生成器传递数据分布知识，并使用本地鉴别器进行个性化模型设计和使用硬样本进行数据增强。本地训练采用多阶段对抗和对比学习，能够在客户之间实现一致的特征空间并使局部和全局模型之间的差异减少，表现出了优异的准确性和通信效率。
发现论文，激发创造
  • FedAL: 由对抗学习启发的黑盒联邦知识蒸馏

    本文提出了一种名为 FedAL 的基于对抗学习的联邦知识蒸馏方法，以解决不同客户端的数据异构性问题，通过使用服务器作为鉴别器指导客户端的本地模型训练，实现客户端之间的共识模型输出，并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明，FedAL 及其变体比其他联邦知识蒸馏方法具有更高的准确率。

    Nov, 2023

  • 减轻联邦学习中基于交叉客户端 GAN 的攻击

    机器学习在多媒体数据（例如图像）中更具吸引力，然而多媒体数据通常具有分布性和隐私敏感性。在这篇论文中，我们展示了联邦学习（FL）遭受跨客户生成对抗网络（C-GANs）攻击的问题，然后我们提出了 Fed-EDKD 方法来提高当前广泛应用的 FL 方案以抵抗 C-GANs 攻击。通过实验证明，Fed-EDKD 显著减轻 C-GANs 攻击，同时仅带来轻微的 FL 准确性下降。

    Jul, 2023

  • FedDKD：基于分散式知识蒸馏的联邦学习

    在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

    May, 2022

  • 通过对抗知识蒸馏压缩深度图神经网络

    本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

    May, 2022

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • 探索无代理数据联邦蒸馏中分布式知识一致性

    本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

    Apr, 2022

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • 基于知识蒸馏的模型无关联合学习

    该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。

    Oct, 2021

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • KnFu: 有效的知识融合

    分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

    Mar, 2024