EMNLPSep, 2021

从预训练语言模型中抽取关系嵌入

PDF
TL;DR本研究旨在探讨如何从预训练的语言模型中提取出表示两个词之间关系的向量，并通过 Fine-tuning 使类似关系的词对应的向量相似，实验结果表明，即使在没有任务特定的 Fine-tuning 的情况下，所得到的关系嵌入在类比和关系分类基准测试中都具有很高的竞争力。
pre-trained language modelsrelation embeddingsword pairsfine-tuningexperimental results
发现论文，激发创造
  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • RelBERT: 用语言模型嵌入关系

    我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。

    Sep, 2023

  • 实体或关系嵌入：关系抽取编码策略分析

    关系抽取问题可以通过微调预训练语言模型来解决，本文通过附加一个 [MASK] token 的提示来改善关系抽取模型，并结合头尾实体的嵌入表示，最终得到一个简单的模型，表现优于现有方法。

    Dec, 2023

  • 预训练的语句嵌入用于隐式语篇关系分类

    本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

    Oct, 2022

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 基于预训练语言模型的上下文小样本关系抽取

    通过预训练的语言模型，我们提出了一种新颖的在上下文中进行少样本关系抽取的框架，该框架可以消除命名实体识别和人工注释文档的需要，并实现了与现有方法相比最先进的性能。

    Oct, 2023

  • 将语义关系嵌入到词表示中

    通过提取语料库中词汇的共现模式来实现无监督学习，学习不仅代表个体单词的表示，还明确捕捉代表单词间语义关联的词向量表示，并通过联合权重和二元分类器来描述单词间的语义关系，取得了普遍类比检测三个基准数据集中的显著性优势。

    May, 2015

  • 用嵌入模型连接语言和知识库进行关系提取

    本文提出一种新方法用于从自由文本中提取关系，该方法通过从知识库中学习单词和实体关系的低维嵌入来联合使用文本和现有知识信息，实验证明该方法能够有效地利用大量 Freebase 数据 (4M 实体、23k 关系) 提供的额外信息来改善仅依赖于文本特征的现有方法。

    Jul, 2013

  • 探索词语和关系的理论表示

    该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

    Feb, 2022