Jan, 2024

知识库完成模型的预训练与诊断

PDF
TL;DR介绍并分析一种无需实体或关系匹配将一个事实集合中的知识转移到另一个集合的方法，该方法对规范化知识库和非规范化或开放式知识库都适用。通过在无结构文本中收集的大规模预训练的事实，改进了对特定领域的结构化数据的预测，并通过实验验证了该方法在小数据集上的显著提升。此外，引入了一种新的用于分析开放式知识库完成的预训练模型的数据集，名为 Doge，通过该数据集揭示了现有模型的一些缺陷和问题。
knowledge transfercanonicalized knowledge basesopen knowledge basespre-trainingopen knowledge base completion
发现论文，激发创造
  • 知识库补全与迁移学习结合

    本文提出了一种有效的预训练方法，用于从非结构化文本中提取的事实的规范化和非规范化知识库，通过小数据集上实验证明其相对于已有方法的改进，不依赖于大型预先训练的模型（如 BERT）

    Aug, 2021

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • 基于图神经网络的非知识库实体知识迁移

    本文介绍了一种利用图神经网络计算 OOBK 实体嵌入的知识库完整性完成（KBC）模型，并在 WordNet 数据集上实现了最先进的性能。

    Jun, 2017

  • 用于语义网络填充的多任务预训练语言模型

    本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

    Jan, 2022

  • 知识图谱补全模型的开放环境扩展

    提出了一种新颖的嵌入式知识图谱完整模型扩展，使其能够执行开放世界链接预测，该模型结合从文字语料库中学习的词嵌入和从知识图谱中学习的常规链接预测模型，通过独立训练这两个模型并进行变换，将实体名称和描述的嵌入映射到基于图的嵌入空间中，实验结果表明我们的方法在多个数据集上都取得了有竞争力的效果且无需对图和文本进行联合训练。

    Jun, 2019

  • 预训练百科全书：弱监督知识预训练语言模型

    本文研究预训练语言模型（如 BERT）在零样本的事实推理任务中的知识捕获，提出一种有效的弱监督预训练目标，通过实体知识的显式融入，实现了对真实世界知识的建模，实验结果表明，该模型在答题、实体类型标注等任务上均优于 BERT。

    Dec, 2019

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 语言模型是开放的知识图谱

    本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

    Oct, 2020

  • 一个可解释的知识迁移模型用于知识库完成

    本研究提出了一种新的嵌入模型 ITransF，它通过稀疏注意机制来完成知识库的补全，并在两个基准数据集（WN18 和 FB15k）上进行了评估，相对于没有使用额外信息的所有基线，ITransF 在知识库补全任务上都显示出了更好的性能。

    Apr, 2017

  • 深度双向语言 - 知识图谱预训练

    用自我监督的方法，从文本和知识图谱中预先训练出深度语言 - 知识图谱联合模型 DRAGON，而 DRAGON 在一系列下游任务中实现了良好性能，尤其是在语言和知识复杂推理方面的优异表现，以及在各种 BioNLP 任务中的最新成果。

    Oct, 2022