Dec, 2022

基于联邦学习的异构自然语言处理任务协作

PDF
TL;DR该研究提出了一种 Assign-Then-Contrast (ATC) 框架，该框架可以协调拥有异构学习目标的客户端，使客户端在协作学习过程中互相学习和交流知识，以提高 NLP 任务的准确性和性能。
federated learningnlpassign-then-contrast frameworkheterogeneous learning objectivesknowledge exchange
发现论文，激发创造
  • FedNLP: 自然语言处理联邦学习方法的基准测试

    本研究提出 FedNLP 框架，用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现，并分析不同分区策略下联邦学习方法与自然语言处理的关联，为未来的研究提供借鉴。

    Apr, 2021

  • 联邦学习与自然语言处理：概述

    本研究综述了在联邦学习框架下进行自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题，同时还提供了对现有联邦 NLP 评估方法和工具的批评性评估。研究结果呈现出当前研究的空白和未来方向。

    Jul, 2021

  • 生物医学自然语言处理的联邦学习系统评估

    通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

    Jul, 2023

  • 异构客户端联邦多任务学习

    借助 FedHCA$^2$ 框架，该研究解决了异构客户机联邦多任务学习中的模型不一致性问题，并通过建模异构客户机之间的关系来允许个性化模型的联邦训练。实验证明 FedHCA$^2$ 在各种异构客户机联邦多任务学习场景中相比其他方法具有更优越的性能。

    Nov, 2023

  • 任务无关的联邦学习

    应用自监督学习的联邦学习框架，通过使用 Vision Transformer 作为共识特征编码器进行无监督预训练，能够在各种真实非 IID 医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。

    Jun, 2024

  • 面向医学转录分析的联合多语言模型

    该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

    Nov, 2022

  • 选择性内部节点传输的联邦连续学习用于文本分类

    本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

    Oct, 2022

  • 语音转文本任务的高效个性化联邦学习

    为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

    Jan, 2024

  • 使用递归与注意力模型以及 NVFlare 进行多地点临床联合学习

    医学自然语言处理的一种实用方法，采用联合学习、自然语言处理模型和 NVIDIA 的 NVFlare 框架，结合 BERT 预训练模型来增强病人护理和临床决策制定的准确性和性能，同时解决数据隐私和合规性问题。

    Jun, 2023

  • 联邦学习中的包容性数据表示：将文本与视觉提示集成的新方法

    联邦学习经常受到通信开销问题的阻碍。为了解决这个问题，我们提出了双提示联邦学习（TPFL），它整合了视觉和文本模态以更全面地描绘本地客户端数据特征。此外，为了应对数据异质性问题，我们引入了增强型 TPFL（ATPFL），并采用对比学习技术，不仅增强了客户端模型的全局知识获取能力，还促进了稳健、紧凑模型的发展。我们的详尽评估结果表明，TPFL 和 ATPFL 相比于所有基准模型始终表现出更优异的性能。

    Oct, 2023