利用预训练语言模型预测文本增强时序知识图中的时间间隔

Sep, 2023

利用预训练语言模型预测文本增强时序知识图中的时间间隔

Leveraging Pre-trained Language Models for Time Interval Prediction in Text-Enhanced Temporal Knowledge Graphs

Duygu Sezen Islakoglu, Mel Chekol, Yannis Velegrakis

TL;DR我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

Abstract

Most knowledge graph completion (KGC) methods learn latent representations of entities and relations of a given graph by mapping them into a vector space. Although the majority of these methods focus on static knowledge graphs, a large number of publicly available KGs contain temporal

knowledge graph completion temporal knowledge graphs pre-trained language models textual descriptions inductive inference

发现论文，激发创造

带提示的预训练语言模型用于时间知识图谱补全

本文提出了一种基于预训练语言模型的 TKGC 模型 (PPT)，通过将时间戳之间的间隔转换为不同的提示来提取暗示的语义信息以形成连贯的句子，并使用蒙版策略将 TKGC 任务转换为蒙版标记预测任务，有效地将时间知识图中的信息整合到语言模型中，具有较高的竞争力。

May, 2023

KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

使用增强时间 BERT 结合结构化语句进行全感知时态关系预测

本文提出了一种基于 SST-BERT 的方法，结合时间增强技术和结构句子编码，用于解决在不完整的时间知识图谱中进行时关系预测的问题。该模型包含时间掩码 MLM 任务，用于在 TKGs 中生成丰富的时间令牌，提高时间敏感性，并在转导和归纳测试数据上有效改善了现有模型。

Apr, 2023

GenTKG：时序知识图谱上的生成预测

我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

Oct, 2023

预训练语言模型是否真能推断知识图谱中未见节点的关联？

通过预训练模型的知识获取，我们提出了一种方法用于构建合成数据集，研究表明预训练模型在知识图谱补全中具备了推理能力，尽管性能的提高主要来自实体和关系的文本信息。

Nov, 2023

TEILP: 基于逻辑推理的知识图谱时间预测

传统的基于嵌入的模型通过排序问题来解决事件时间预测问题，然而往往不能很好地捕捉时间顺序和距离等关键的时间关系。本文提出 TEILP，一个自然地将这些时间要素融入到知识图谱预测中的逻辑推理框架。通过将时间知识图谱转换为具有更明确时间表示的时间事件知识图谱（TEKG），我们利用可微分随机游走方法进行时间预测。通过引入条件概率密度函数和与查询区间相关的逻辑规则，我们得出时间预测结果。与基准方法相比，我们在五个基准数据集上比较了 TEILP 的性能，结果表明我们的模型在提供可解释的解释的同时，显著改进了基线模型。特别是在训练样本有限、事件类型不平衡以及仅基于过去事件预测未来事件时间的几种情况下，TEILP 在健壮性方面优于基准模型。

Dec, 2023

历史链条：通过 LLMs 进行时态知识图完善的学习和预测

本论文提出了一种新颖的方法，将时间链接预测视为历史事件链中的事件生成任务，并通过有效的微调方法将 LLMs 适应特定的图文本信息和时间线中发现的模式。此外，我们引入了基于结构的历史数据增强和逆向知识的整合，以强调 LLMs 对结构信息的认知，从而提高其推理能力。通过在多个广泛使用的数据集上进行彻底的实验，我们发现我们的微调模型在多个度量标准上优于现有的基于嵌入的模型，达到了最先进水平，并进行了充分的消融实验，探索 LLMs 在执行结构化时间知识推断任务时的关键影响因素。

Jan, 2024

上下文学习下没有先验知识的时间知识图预测

本文研究利用大型语言模型和上下文学习技术进行时间知识图谱（TKG）预测，并证明可在不需要显式重点捕获结构和时态信息的情况下，LLM 与针对 TKG 预测深度设计和训练的最先进的 TKG 模型表现相当，而且本文发现使用数值索引而非实体 / 关系名称可以实现接近相同的性能，且证明上下文学习可以帮助 LLMs 学习历史上不规律的模式，从而超越基于共同或最新信息的简单预测。

May, 2023

基于大型语言模型的时间知识图谱的零样本关系学习

通过将知识图谱关系的文本描述输入到大型语言模型中，我们提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。

Nov, 2023

基于元学习的时态知识图谱推理

本文介绍了一种基于元学习的时间知识图谱外推模型（MTKGE），该模型在已知时间知识图谱中进行链接预测任务的元训练，并在具有未知实体和关系的新兴时间知识图谱中进行测试。通过捕获关系的相对位置模式和时间序列模式的 GNN 框架，学习模式的嵌入可以转移到未知组件。实验结果表明 MTKGE 模型在两个不同的时间知识图谱外推数据集上均优于现有的知识图谱外推和特定自适应 KGE 和 TKGE 基线的最新模型。

Feb, 2023