Mar, 2022

联邦命名实体识别

PDF
TL;DR本文通过将联邦学习应用在命名实体识别任务中，使用具有语言无关性的 CoNLL-2003 数据集作为基准数据集，Bi-LSTM-CRF 模型作为基准模型，研究了联邦学习的性能，展示了联邦学习相对于集中式模型在不同的异构学习环境下的性能降低，并讨论了联邦学习在自然语言处理应用领域中的现存挑战和未来研究方向。
federated learningnamed-entity recognitionbi-lstm-crfconvergence rateheterogeneous learning
发现论文，激发创造
  • 联邦学习与自然语言处理：概述

    本研究综述了在联邦学习框架下进行自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题，同时还提供了对现有联邦 NLP 评估方法和工具的批评性评估。研究结果呈现出当前研究的空白和未来方向。

    Jul, 2021

  • 高度不平衡数据下适应性命名实体识别

    本报告提出了一种基于条件随机场层和双向 LSTM 层的神经网络体系结构，其中嵌入向量（Glove，BERT）的融合输入被用来增强模型的泛化能力，还引入了一个分类模型来分离句子并对弱类和强类进行优化以提高 Named Entity Recognition 任务的性能。经实验证明，该方法显著提高了弱类的表现结果，并且只使用了非常少量的数据集。

    Mar, 2020

  • FedNER：采用联邦学习的隐私保护医学实体识别

    本篇研究提出一种基于联邦学习的医学实体识别隐私保护方法，旨在解决不同医学平台之间限制性难以交换标记数据的问题，并使用局部标记数据更新每个平台的私人模块，再聚合每个平台的全局梯度以更新全局共享模块。

    Mar, 2020

  • NERetrieve: 下一代命名实体识别与检索数据集

    通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。

    Oct, 2023

  • 深度学习模型中命名实体识别的最近进展综述

    本文综述了深度神经网络在命名实体识别方面的应用，相对于传统的基于特征工程和监督或半监督学习算法的实体识别方法，神经网络在该领域中取得了更好的效果，并表明吸收过去的基于特征的 NER 系统的一些经验教训可以进一步提高性能。

    Oct, 2019

  • 一种基于本地检测的命名实体识别多任务学习方法

    本研究尝试通过组合多个具有一定关系但不同内容的命名实体识别数据集，使用基于 FFNN 的局部探测多任务模型从变长单词序列生成理论上无损且唯一的固定大小表示，提高该领域任务的性能表现，实验结果表明，该模型在几乎所有任务中表现出有竞争力的性能。

    Apr, 2019

  • 神经模型泛化再思考：命名实体识别案例研究

    本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源了一个涵盖最近 NER 研究论文的综述项目。

    Jan, 2020

  • FedNLP: 自然语言处理联邦学习方法的基准测试

    本研究提出 FedNLP 框架，用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现，并分析不同分区策略下联邦学习方法与自然语言处理的关联，为未来的研究提供借鉴。

    Apr, 2021

  • N-gram 语言模型联邦学习

    提出使用联邦学习算法来训练生产级的 n-gram 语言模型，以解决在处理隐私敏感数据时面临的数据安全问题，该算法特别适用于便携式设备，如智能手机。同时通过将递归神经网络语言模型近似为能快速部署在设备上进行推理的 n-gram 模型，实现了联邦学习在虚拟键盘等场景下的应用。

    Oct, 2019

  • 大规模生物医学命名实体识别

    通过在 Apache Spark 之上重新实现 Bi-LSTM-CNN-Char 深度学习架构，我们提出了一个单可训练的命名实体识别（NER）模型，该模型在七个公共生物医学基准测试中获得了新的最优结果，而不使用像 BERT 这样的重​​型上下文嵌入。该模型在生产级别代码库中作为开源 Spark NLP 库的一部分免费提供，并且可以扩展以支持其他人类语言，而不需要更改代码。

    Nov, 2020