Mar, 2022

$k$NN-NER：最近邻搜索的命名实体识别

PDF
TL;DR本文介绍了一种新的基于 $k$NN 的实体标注框架，运用 $k$ nearest neighbor 方法来增强实体标签的分布，提高 NER 的 few-shot 学习能力和对 long-tail cases 的处理能力，并在多个数据集上验证和比较其性能，达到了比目前最好的结果更好的 F1 分数。
nlpknn-nerfew-shot learninglong-tail casesentity labeling
发现论文，激发创造
  • 基于结构最近邻学习的简单有效少样本命名实体识别

    论文提出了一个基于最近邻学习和结构化推理的简单的少样本命名实体识别系统，使用一个有监督的 NER 模型在源领域上进行训练，作为特征提取器，提出了一种捕获实体标签之间标签依赖性的廉价但有效的方法，并将结构化解码与最近邻学习相结合，达到了先进的表现。该方法使得 F1 分数相对于以前基于元学习的系统提高了 6％至 16％的绝对值。

    Oct, 2020

  • 通过 k 最近邻搜索的提示方法，用于少样本命名实体识别的 PromptNER

    本文提出了一种基于提示方法的 Few-shot Named Entity Recognition（NER）模型，使用实体类别信息构建标签原型，使模型只需使用支持集进行微调即可实现很好的迁移学习表现，实验证明其在 Few-NERD 和 CrossNER 数据集上的性能均优于其他先进方法。

    May, 2023

  • 通过记忆推理：最近邻居知识图嵌入

    本文提出了通过预训练语言模型和 k 近邻的知识图谱嵌入新方法 kNN-KGE，使得 rare 或 emerging entities 更容易被显式地存储，而非隐式存在于模型参数中，实验证明该方法可提高归纳式和传导式链接预测结果，并在只有很少的三元组的低资源情况下获得更好的性能。

    Jan, 2022

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • GlobalNER：将非局部信息结合到命名实体识别中

    本研究使用基于深度神经网络的查询生成方法和基于 BERTScore 的提及感知的重新排序体系结构，以进一步提高命名实体识别的性能。最后，在 WNUT17 数据集上实现了 61.56 的微 F1 得分。

    Mar, 2023

  • 最近邻关系抽取：拯救隐式和长尾情况

    介绍一种使用 $k$ 最近邻进行增强的关系提取方法 $k$NN-RE，可以在测试时间通过最近邻搜索查阅训练关系，并提供了一种简单却有效的方法来解决由于语言复杂性和数据稀疏性引起的隐式表达和长尾关系类型的两个问题，并且观察到 $k$NN-RE 是利用远程监督（DS）数据进行 RE 的有效方法。在 ACE05、SciERC 和 Wiki80 等多种受控制的 RE 数据集上，提出的 $k$NN-RE 取得了最高水平的性能，并在允许使用 DS 的情况下在 i2b2 和 Wiki80 数据集上优于迄今为止最好的模型。

    Oct, 2022

  • ProtoNER: 基于原型网络的命名实体识别的小样本增量学习

    ProtoNER 是一种基于原型网络的端到端的 KVP 提取模型，允许在现有模型中添加新的类别，并且只需要很少数量的新注释样本。

    Oct, 2023

  • 最近邻机器翻译

    本研究提出 $k$- 最近邻机器翻译方法，基于神经翻译模型的表示进行相似性搜索，不需要额外训练，适用于广泛的场景，并且可以通过使用特定于域的数据存储库来适应不同的领域，显著提高翻译性能。

    Oct, 2020

  • NanoNER：利用专家知识和远程监督进行纳米生物学的命名实体识别

    NanoNER 是基于本体知识和远程监督学习的专业领域命名实体识别模型，在 Nano 生物学领域检测先前已知实体的识别准确性为 0.98，并展示了发现新实体的能力（精确度为 0.77 至 0.81），该方法对外部资源的依赖性和 30% 的识别减弱引发的重新发现能力得到了验证。该研究为未来专业领域命名实体识别研究提供了有价值的方法和重要发现，并能推广到其他专业领域，并减少人力资源占用。

    Jan, 2024

  • BERT-kNN：为预训练语言模型添加 kNN 搜索组件以提升 QA

    使用 k 近邻（kNN）组件提高语言模型性能，进而结合 BERT 与传统信息检索（IR）和大型文本嵌入数据存储的 kNN 搜索提高开放域问答的召回率。实验结果证明，BERT-kNN 在题型填空问答方面比 BERT 表现更优，尤其在处理罕见事实和未在 BERT 训练集中涉及的事实方面表现突出。

    May, 2020