Jun, 2022

实体和关系抽取中的情境化和泛化

PDF
TL;DR本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。
neural networksnatural language processinglanguage modelsnamed entity recognitionrelation extraction
发现论文，激发创造
  • 使用预训练语言模型的端到端命名实体识别和关系抽取

    本文提出了一种基于神经元的端到端模型来联合提取实体和它们的关系，该模型不依赖于外部自然语言处理工具，而是集成了大量的预训练语言模型， 在三个领域的五个数据集上，我们的模型可以与最先进的性能相提并论，有时甚至具有更高的性能。

    Dec, 2019

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 神经模型泛化再思考：命名实体识别案例研究

    本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源了一个涵盖最近 NER 研究论文的综述项目。

    Jan, 2020

  • 深度学习在关系抽取中的综合调查：最新进展与新前沿

    本研究综述了关系抽取领域深度学习技术的现状，涵盖资源、分类、挑战和未来方向等方面，有望促进研究者共同探索真实生活中关系抽取系统的挑战。

    Jun, 2023

  • 利用知识图谱嵌入增强关系抽取的上下文表示

    本论文使用预训练的知识图谱嵌入模型，结合文本语料库的句子级上下文表示，实现了较高性能的关系抽取模型，并通过实验验证了该方法的有效性和出色性能。

    Jun, 2023

  • 从语境还是名称学习？神经关系抽取的实证研究

    本文研究神经模型在关系抽取（RE）任务中的表现，并提出了一种基于实体掩码对比预训练框架，旨在深入理解文本上下文和类型信息，同时避免了对命名实体的机械记忆或表浅提示的使用。实验证明，该框架可以提高不同情况下的神经模型的效果和鲁棒性。

    Oct, 2020

  • 基于深度神经网络的关系抽取综述

    该研究论文介绍了知识在自然语言处理中的重要性，并综述了基于深度神经网络的关系抽取技术，包括有监督和远程监督方法。此外，还讨论了该技术的一些新方法和未来研究方向。

    Jan, 2021

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 关系抽取在临床文档理解中的应用

    该文介绍了一种文本挖掘框架，利用 Named Entity Recognition 和 Relation Extraction 模型对医学文献和数字临床记录进行处理，取得优异的实验结果，并构建了一个生物医学知识图谱。系统使用 Spark NLP 库提供的生产级、可伸缩、硬件优化、可训练和可调整的 NLP 框架。

    Dec, 2021

  • 基于预训练语言模型的上下文小样本关系抽取

    通过预训练的语言模型，我们提出了一种新颖的在上下文中进行少样本关系抽取的框架，该框架可以消除命名实体识别和人工注释文档的需要，并实现了与现有方法相比最先进的性能。

    Oct, 2023