ACLDec, 2020

通过对比学习提高预训练语言模型对实体和关系理解的能力 - ERICA

PDF
TL;DR该论文提出了一种对文本中的实体和关系进行深入理解的新型对比学习框架 ERICA，可显著提高预训练语言模型在低资源环境下的关系提取，实体类型和问题回答等多个语言理解任务的性能表现。
pre-trained language modelscontrastive learning frameworkrelation extractionentity typingquestion answering
发现论文，激发创造
  • 利用实体信息丰富预训练语言模型用于关系分类

    本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

    May, 2019

  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 开放关系建模：学习定义实体之间的关系

    本文介绍了开放式关系建模问题，引入了使用定义实体进行条件生成类型的关系描述的方法，并将推理路径和选择机制包括在内以帮助在知识图谱数据上进行开放式关系建模。实验结果表明，该模型能够生成简洁但信息丰富的关系描述，捕捉实体的代表性特征。

    Aug, 2021

  • 持续对比微调改善低资源关系提取

    该论文介绍了一个用于解决低资源场景下关系抽取的方法，该方法基于自监督学习和对比学习，以一致的目标进行预训练和微调，在两个数据集上的实验表明，该方法在使用 1% 的数据时，较基于 PLM 的分类器分别提高了 10.5％和 5.8％的性能水平。

    Dec, 2022

  • 预训练语言模型的下游模型设计 —— 关系抽取任务

    本文提出了一种新的神经网络结构和特殊的损失函数来提高细化语言模型（PLMs）在监督关系抽取中的性能。实验证明，该方法在多项公共数据集上显著超过了当前最优基线模型。

    Apr, 2020

  • 使用对比学习提高 BERT 模型在生物医学关系提取中的表现

    本文探索使用对比学习方法提高 BERT 模型的文本表现力，并通过数据增强中的唯一对比预训练步骤来定制化关系提取任务集成语言学知识，研究外部知识库构建的大规模数据如何增强对比预训练的一般性，证明方法可以改进模型表示并实现最先进性能。

    Apr, 2021

  • 为比较推理预训练语言模型

    本文提出了一种新的预训练语言模型框架，通过增强其对文本的比较推理能力来提高 NLP 任务的性能，该框架通过收集结构化和非结构化数据设计了三个新的预训练任务，并在比较问答、问句生成和摘要等下游任务中进行了评估，结果显示，我们的预训练框架显著提高了语言模型的比较推理能力，特别是在低资源条件下。此外，本工作还发布了第一个针对文本比较推理的综合基准。

    May, 2023

  • AEC 领域通用信息检索任务的预训练领域特定语言模型

    这项研究系统地探索了领域专用语料库和各种迁移学习技术对信息检索任务的深度学习模型性能的影响，并提出了一个用于建筑、工程和建筑（AEC）领域的预训练领域专用语言模型。BERT 模型在所有 IR 任务中的表现明显优于传统方法，在 F1 得分中的最大改进分别为 5.4％和 10.1％。

    Mar, 2022

  • 使用监督对比学习对轻量级语言模型进行情感翻新

    我们提出了一种新颖的改进方法，用于将情绪方面引入预训练语言模型（如 BERT 和 RoBERTa）。通过对比学习更新预训练网络权重，使表现出类似情绪的文本片段在表示空间中靠近编码，而具有不同情绪内容的片段则被推开。我们的方法对 PLMs 进行了改进，即 BERTEmo 和 RoBERTaEmo，生成了情绪感知的文本表示，通过不同的聚类和检索指标进行评估。在情感分析和讽刺检测的下游任务中，它们比预训练模型表现得更好（F1 分数提高约 1%），且在少样本学习中观察到了更显著的性能提升。

    Oct, 2023

  • 使用预训练语言模型的端到端命名实体识别和关系抽取

    本文提出了一种基于神经元的端到端模型来联合提取实体和它们的关系，该模型不依赖于外部自然语言处理工具，而是集成了大量的预训练语言模型， 在三个领域的五个数据集上，我们的模型可以与最先进的性能相提并论，有时甚至具有更高的性能。

    Dec, 2019