EMNLPMay, 2022

你的模型是否合理地分类实体？诊断和缓解实体类型中的虚假相关性

PDF
TL;DR该研究针对实体类型推断中的假关联问题，通过定义模型偏差种类并提出反事实数据增强方法，改善模型泛化能力。实验结果表明，该方法在提高模型性能方面具有一致的效果。
entity typingspurious correlationsmodel biasesdata augmentationgeneralization
发现论文，激发创造
  • 引入标签关系归纳偏置来进行极细粒度实体类型推断

    本文提出了一种新的标签关系归纳偏好，利用图传播层有效编码全局标签共现统计和单词级别相似性，结合基于注意力的匹配模块，可以在包括超过 10,000 种自由形式类型的大型数据集上实现更高的召回分数，并且在输出的稳定性方面也更少不一致性。

    Mar, 2019

  • 领域无关实体链接的细粒度实体类型划分

    该论文介绍了一种可以构建鲁棒实体链接模型的方法，该方法将注意力放在建立细粒度实体属性的模型上，具有更好的泛化性能，使用维基百科类别的大型库存来远程标记数据并训练实体类型模型，使用软类型预测将提及链接到最相似的候选实体上。

    Sep, 2019

  • (大型) 语言模型中实体偏见的因果视角

    通过提出特定的结构因果模型（SCM）及其上的因果干预技术，在白盒和黑盒模型中缓解了实体偏差，该干预通过干扰原始实体与邻近实体来减少与原始实体有关的特定偏见信息，同时仍保留来自相似实体的充分共同预测信息，在关系抽取任务上，我们的训练时间干预将 RoBERTa 的 F1 得分在 EntRED 上提高了 5.7 分，在 GPT-3.5 上，我们的上下文干预有效减少了参数化知识和上下文知识之间的知识冲突，并将 F1 得分在一个具有挑战性的测试集中提高了 9.14 分。

    May, 2023

  • 零样本开放实体类型识别作为类型兼容接地

    本文提出了一种无监督的零样本实体类型的方法，该方法可以弹性地识别新定义的类型，并利用 FREEBASE 的布尔函数进行自我推理。我们在包括生物领域的各种数据集上评估了该系统，并证明了它在超出领域的数据集上优于监督学习方法与其他零样本细粒度关键词方法。

    Jul, 2019

  • 课程学习中的生成实体类型

    通过预训练语言模型和课程学习的方法，我们提出了一种新的生成式实体类型标注（GET）范例，其表现优于现有的实体类型标注模型。

    Oct, 2022

  • 数据和模型中的顽固词汇偏见

    使用新的统计方法检查模型训练过程中的假相关关系，发现即使使用了优化方法来减少数据中的偏差，训练出的模型中仍存在对标签的偏差，影响了自然语言推理和重复问题检测两个任务的性能。

    Jun, 2023

  • 我们应该依赖实体提及来进行关系抽取吗？通过反事实分析消除关系抽取偏差

    本文提出了一种名为 CORE 的反事实分析方法，通过构造关系提取器的因果图，并在其上进行反事实分析来捕捉和减少实体偏置。该方法不会改变现有 RE 系统的训练过程，极大地提高了 RE 的效率和概括能力。

    May, 2022

  • 建模潜在实体类型信息以提升实体链接

    提出一种基于 BERT 预训练和实体相似度分数的实体链接模型，通过注入潜在的类型信息到实体嵌入中，并结合一种基于 BERT 的实体相似度分数，显著提高了实体链接模型的性能。

    Jan, 2020

  • 超细粒度实体类型化

    介绍了一种新的实体类型任务，使用头词来进行大规模远程监督，利用多任务目标训练模型，实现对实体类型的预测，对这一方法进行了实验评估并提供相关数据和模型。

    Jul, 2018

  • 知识图谱中基于上下文的实体类型识别

    本研究提出了一种利用上下文信息进行知识图谱实体类型推理的新方法，设计了两种推理机制：N2T 和 Agg2T，并提出了一种新的损失函数以减轻训练期间的误测问题。实验证明了该方法的有效性。

    Sep, 2021