COLINGMar, 2024

ELLEN：高效命名实体识别的极轻度监督学习

PDF
TL;DR在这项工作中，我们重新审视了半监督命名实体识别（NER）问题，重点是极度轻量级的监督，包括每类仅包含 10 个示例的词典。我们介绍了 ELLEN，这是一种简单、完全模块化的神经符号方法，将经过微调的语言模型与语言规则相结合。ELLEN 在使用以上词典中的最小监督时，在 CoNLL-2003 数据集上取得了非常强的性能。它在文献中通常使用的相同监督设置下，也优于大多数现有的（并且相对复杂得多）半监督 NER 方法。此外，我们在 WNUT-17 上以零样本场景评估了我们的 CoNLL-2003 模型，发现它的性能优于 GPT-3.5，并且实现了与 GPT-4 相当的性能。在零样本设置下，ELLEN 的性能也达到了基于金标数据训练的强有力、完全监督模型性能的 75% 以上。
semi-supervised named entity recognitionellenneuro-symbolic methodlexiconzero-shot scenario
发现论文，激发创造
  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 弱监督下的少于单次投射：命名实体识别

    我们研究了在极弱监督条件下的命名实体识别（NER）问题，提出了一种名为 X-NER 的新方法，可以胜过现有的一次性 NER 方法，具有跨语言能力。

    Nov, 2023

  • 使用部分标注的训练数据进行命名实体识别

    研究了使用部分标记数据进行命名实体识别的问题，用迭代算法通过识别假负标签减小其权值，训练带有偏重的 NER 模型，取得 8 种语言的实验结果，并在孟加拉语 NER 语料库中比现有最优算法提高 5 个百分点的 F1 分数。

    Sep, 2019

  • 通过有效的注释和表示投影进行弱监督的跨语言命名实体识别

    本文提出两种弱监督的跨语言实体标识方法，分别基于注释投影和词嵌入，无需使用目标语言的人工注释数据。同时，我们设计了两种协同解码方案，将两个基于投影的方法的输出相结合，评估表明这种组合性的方法优于其他三种弱监督方法。

    Jul, 2017

  • DistALANER：在开源软件生态系统中增强的基于远程监督的主动学习命名实体识别

    本文提出了一种新的命名实体识别（NER）技术，专门针对开源软件系统。我们的方法通过使用全面的两步远程监督注释过程来解决注释软件数据的稀缺性问题。该方法战略性地利用语言启发式方法、唯一的查找表、外部知识源和主动学习方法。通过利用这些强大的技术，我们不仅提高了模型的性能，还有效地克服了成本和专家注释者的稀缺性方面的局限性。值得注意的是，我们的框架在很大程度上超越了现有技术的领先水平。我们还展示了 NER 在下游关系抽取任务中的有效性。

    Feb, 2024

  • 小规模强标注数据和大规模弱标注数据的命名实体识别

    本文提出了一种多阶段计算框架，名为 NEEDLE，通过采用弱标签完成、噪声感知丢失函数和有强力标签的最终微调等三种关键要素，有效抑制了弱标签的噪音，提高了 Biomedical NER 的性能。

    Jun, 2021

  • 最小监督下的命名实体识别字典学习

    本文介绍了使用大量的未标记数据和几个种子示例，通过自动构建的方法从而实现命名实体识别的字典。通过使用规范相关分析法获取候选短语的低维嵌入，然后分类这些短语使用少量的带标签的实例。本文的方法在疾病和病毒 NER 方面实现了 16.5％和 11.3％的 F-1 得分改善。我们还展示了将候选短语嵌入添加为序列标记器中的特征与使用单词嵌入相比，可以获得更好的性能。

    Apr, 2015

  • 一种基于 Transformer 的零样本和少样本生物医学命名实体识别方法

    本论文提出了一种基于 transformer 的方法来解决在生物医学领域中监督命名实体识别（NER）的挑战，包括零样本和少样本 NER。该方法基于将多类令牌分类的任务转化为二进制令牌分类，并在更多数据集和医学实体上预训练，从中可以学习给定实体和潜在类之间的语义关系。使用 PubMedBERT 调整模型进行的实验结果表明，该方法具有识别有限样本中的新实体的能力，对于零样本 NER 的平均 F1 得分达到 35.44％，对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94％和 79.51％。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。

    May, 2023

  • 具有噪声鲁棒性和语言模型增强的远程监督命名实体识别

    本文研究如何通过使用自动化匹配原始文本中实体提及与知识库中实体类型来获得的远距离标注数据来训练命名实体识别（NER）模型，提出了一种噪声鲁棒的学习方案和自训练方法，通过预训练语言模型创建的上下文增量来改善 NER 模型的泛化能力，在三个基准数据集上，我们的方法均获得了优越的性能，显著优于现有的远程监督 NER 模型。

    Sep, 2021

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021