Apr, 2023

使用增强时间 BERT 结合结构化语句进行全感知时态关系预测

PDF
TL;DR本文提出了一种基于 SST-BERT 的方法，结合时间增强技术和结构句子编码，用于解决在不完整的时间知识图谱中进行时关系预测的问题。该模型包含时间掩码 MLM 任务，用于在 TKGs 中生成丰富的时间令牌，提高时间敏感性，并在转导和归纳测试数据上有效改善了现有模型。
发现论文，激发创造
  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023

  • BERT 的归纳关系预测

    本文提出了一种名为 BERTRL 的解决方案，该方案使用预训练语言模型和 fine-tuning，通过将关系实例及其可能的推理路径作为训练样本，支持归纳学习并在 15 个应用中超越现有技术。

    Mar, 2021

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 带提示的预训练语言模型用于时间知识图谱补全

    本文提出了一种基于预训练语言模型的 TKGC 模型 (PPT)，通过将时间戳之间的间隔转换为不同的提示来提取暗示的语义信息以形成连贯的句子，并使用蒙版策略将 TKGC 任务转换为蒙版标记预测任务，有效地将时间知识图中的信息整合到语言模型中，具有较高的竞争力。

    May, 2023

  • 多方面可解释的句子 Transformer 归纳关系预测

    本文介绍了关系路径覆盖和关系路径置信度的概念，以在模型训练之前过滤出不可靠的路径，提升模型性能，并提出了知识推理句子变换器（KRST）来预测 KG 中的归纳关系。我们在三个真实世界数据集上进行了广泛的实验，实验结果表明，与 SOTA 模型相比，KRST 在大多数传导和归纳测试用例（6 个中的 4 个）和 12 个 few-shot 测试用例中的 11 个中实现了最佳性能。

    Jan, 2023

  • GenTKG：时序知识图谱上的生成预测

    我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

    Oct, 2023

  • TIE：一种基于嵌入的增量式时间知识图谱补全框架

    文章介绍了一个新框架 Time-aware Incremental Embedding (TIE)，可用于支持频繁更新的时间知识图谱（TKG）的完整性补充任务（TKGC），提高了系统的效率，降低了训练时间。

    Apr, 2021

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 基于大型语言模型的时间知识图谱的零样本关系学习

    通过将知识图谱关系的文本描述输入到大型语言模型中，我们提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。

    Nov, 2023

  • 学习句子内部的时间关系

    本文提出了一种基于数据密集的方法来推断句内时间关系，旨在实现 NLP 应用中的时间信息的提取和综合，比如摘要和问答，通过利用像 after 这样的标记来避免手动编码的需求，我们的方法首先表明，训练模型可以在用时暂未看到的情况下选择正确的标记，然后评估所提出的方法是否有望半自动创建时间注释，比较了许多概率模型在不同方面的差异。

    Oct, 2011