ACLJun, 2021

利用来自掩蔽语言模型的弱监督进行超细实体类型识别

PDF
TL;DR本文提出了使用 BERT 遮盖语言模型 (Masked Language Model) 获得超细粒度实体类型的训练数据，并构建一个输入使其产生预测上下文相关的超类词表中的概念，其可用作类型标签。在实验结果中表明，通过这些自动生成的标签，超细粒度实体类型模型的性能大大提高。同时，我们还展示了这种方法可以用于改进传统的细粒度实体类型。
ultra-fine entity typingbert masked language modelhypernymstype labelsperformance
发现论文，激发创造
  • 超细粒度实体类型化

    介绍了一种新的实体类型任务，使用头词来进行大规模远程监督，利用多任务目标训练模型，实现对实体类型的预测，对这一方法进行了实验评估并提供相关数据和模型。

    Jul, 2018

  • 通过自然语言推理的间接监督进行超细实体类型标注

    LITE is a natural language inference-based approach for ultra-fine entity typing, addressing the data scarcity issue and achieving state-of-the-art performance and strong generalizability.

    Feb, 2022

  • 从超细到精细：微调超细实体类型模型至细粒度

    通过使用超细粒度实体类型数据训练一个具有极广泛类型覆盖的实体类型模型，然后在新设计的细粒度实体类型模式下，通过少量手动标注的样本对先前训练的模型进行微调，我们提出了一种新的方法，能够避免在新类型架构时创建远距离标记数据的需求，并在低样本学习设置下实现出色的细粒度实体类型识别性能。

    Dec, 2023

  • 去噪增强远程监督的超细实体类型识别

    本文提出一种新颖的超细实体类型模型，其具有去噪能力，通过建立一个噪声模型对输入的上下文和实体类型标签进行估计，从输入中减去估计噪声以恢复更可靠的标签，并采用双编码器结构训练去噪数据，噪声模型和实体类型模型迭代训练，以提高彼此的性能，在 Ultra-Fine 实体类型数据集以及 OntoNotes 数据集上表现显著优于其他基线方法。

    Oct, 2022

  • 利用标签的先验知识进行细粒度实体类型划分：一种简单的基于聚类的策略

    本文提出了一种简单的技术，使用预训练的标签嵌入将标签聚类形成语义领域，并将这些领域作为附加类型来改进现有的 UFET 模型的性能。同时作者还使用标签聚类作为后处理技术，进一步提高了模型性能。

    May, 2023

  • 为新 X (X = 语言、领域、风格) 迅速构建细粒度实体类型识别系统

    本文提出了一种无监督实体类型框架，通过结合符号和分布语义，使用语言结构学习通用的嵌入，并开发了一种新型的联合层次聚类和链接算法来对所有提及进行类型。该框架不依赖于任何注释数据、预定义的打字架构或手工特征，因此可以快速适应新的领域、体裁和语言。同时，它具有很大的灵活性，可以包括语言结构等来改进特定上下文表示。

    Mar, 2016

  • 基于精细表示的远程监督数据细粒度命名实体识别

    本文提出了一种基于图卷积网络的方法，通过关注语料库级别的上下文提示来提炼含噪声的命名实体类型，实验证明该方法相对于现有研究提高了 10.2％和 8.3％的总体宏 / 微 F1 得分。

    Apr, 2020

  • 领域无关实体链接的细粒度实体类型划分

    该论文介绍了一种可以构建鲁棒实体链接模型的方法，该方法将注意力放在建立细粒度实体属性的模型上，具有更好的泛化性能，使用维基百科类别的大型库存来远程标记数据并训练实体类型模型，使用软类型预测将提及链接到最相似的候选实体上。

    Sep, 2019

  • 实体链接技术优化细粒度实体类型划分

    通过实体链接，结合上下文信息和查询结果，我们提出了一种深度神经模型，用于精细化实体类型分类。在两个数据集上的实验结果表明，相对当前最先进水平，我们的方法分别取得了超过 5％的绝对严格准确度提高。

    Sep, 2019

  • 使用 TypeNet 进行更细粒度的实体类型划分

    介绍了 TypeNet 数据集，该数据集由 1941 个类型组成，通过人工注释从 1081 个 Freebase 类型映射到 WordNet。本文还探讨了几种与先进系统可比的模型，以及在标准提及类型损失的基础上结合层次结构损失的技术，是未来研究的第一步。

    Nov, 2017