ACLApr, 2021

FedNLP: 自然语言处理联邦学习方法的基准测试

PDF
TL;DR本研究提出 FedNLP 框架，用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现，并分析不同分区策略下联邦学习方法与自然语言处理的关联，为未来的研究提供借鉴。
发现论文，激发创造
  • 生物医学自然语言处理的联邦学习系统评估

    通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

    Jul, 2023

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • 联邦学习与自然语言处理：概述

    本研究综述了在联邦学习框架下进行自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题，同时还提供了对现有联邦 NLP 评估方法和工具的批评性评估。研究结果呈现出当前研究的空白和未来方向。

    Jul, 2021

  • 自然语言处理的安全高效联邦学习框架

    本文介绍了一种名为 SEFL 的安全高效联邦学习框架，它消除了训练所需的可信实体，提高了模型准确性，又能适应客户端退出等问题。通过 NLP 任务的实验研究表明，SEFL 与现有的 FL 方案具有可比性，且提出的剪枝技术可以提高运行时性能高达 13.7 倍。

    Jan, 2022

  • 使用递归与注意力模型以及 NVFlare 进行多地点临床联合学习

    医学自然语言处理的一种实用方法，采用联合学习、自然语言处理模型和 NVIDIA 的 NVFlare 框架，结合 BERT 预训练模型来增强病人护理和临床决策制定的准确性和性能，同时解决数据隐私和合规性问题。

    Jun, 2023

  • 少样本情况下的联邦自然语言处理

    本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

    Dec, 2022

  • 联邦学习：应用、挑战和未来方向

    本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

    May, 2022

  • FedML：联邦机器学习研究库与基准

    介绍了一个开放的研究库和基准，名为 FedML，旨在促进联邦学习算法的开发和公平性能比较，支持三种计算范例，并带有灵活和通用的 API 设计和全面的参考实现。

    Jul, 2020

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 面向医学转录分析的联合多语言模型

    该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

    Nov, 2022