May, 2023

上下文学习下没有先验知识的时间知识图预测

PDF
TL;DR本文研究利用大型语言模型和上下文学习技术进行时间知识图谱（TKG）预测，并证明可在不需要显式重点捕获结构和时态信息的情况下，LLM 与针对 TKG 预测深度设计和训练的最先进的 TKG 模型表现相当，而且本文发现使用数值索引而非实体 / 关系名称可以实现接近相同的性能，且证明上下文学习可以帮助 LLMs 学习历史上不规律的模式，从而超越基于共同或最新信息的简单预测。
temporal knowledge graph forecastinglarge language modelsin-context learninghistorical factsperformance evaluation
发现论文，激发创造
  • GenTKG：时序知识图谱上的生成预测

    我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

    Oct, 2023

  • 历史链条：通过 LLMs 进行时态知识图完善的学习和预测

    本论文提出了一种新颖的方法，将时间链接预测视为历史事件链中的事件生成任务，并通过有效的微调方法将 LLMs 适应特定的图文本信息和时间线中发现的模式。此外，我们引入了基于结构的历史数据增强和逆向知识的整合，以强调 LLMs 对结构信息的认知，从而提高其推理能力。通过在多个广泛使用的数据集上进行彻底的实验，我们发现我们的微调模型在多个度量标准上优于现有的基于嵌入的模型，达到了最先进水平，并进行了充分的消融实验，探索 LLMs 在执行结构化时间知识推断任务时的关键影响因素。

    Jan, 2024

  • 增强上下文学习的事实知识

    通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

    Sep, 2023

  • 利用大型语言模型通过历史链推理提升时间知识图预测

    基于 LLM 的时态知识图预测模型存在三个缺点，为解决这些问题，我们提出了一种称为 CoH 的历史链推理方法，以实现对高阶历史信息的有效利用，进而增强了基于图模型的 TKG 预测性能。

    Feb, 2024

  • 基于大型语言模型的时间知识图谱的零样本关系学习

    通过将知识图谱关系的文本描述输入到大型语言模型中，我们提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。

    Nov, 2023

  • LLMs 中可靠的潜在知识估计：与上下文学习相比，基于提示的事实知识提取

    我们提出了一种估计大型语言模型中嵌入的潜在知识的方法，该方法利用了大型语言模型的上下文学习能力来估计模型对存储在知识库中的事实的了解程度，并且我们的知识估计器避免了以前的提示式方法中存在的可靠性问题，且在概念上更简单且更易于应用，我们证明它可以揭示出更多嵌入在大型语言模型中的潜在知识。我们还研究了不同设计选择对基于上下文学习的知识估计性能的影响。通过所提出的估计器，我们对各种开源大型语言模型（如 OPT，Pythia，Llama (2)，Mistral，Gemma 等）在来自 Wikidata 知识库的大量关系和事实上的事实知识进行了大规模评估。我们观察到不同模型家族和不同大小的模型之间的事实知识存在差异，某些关系普遍比其他关系更为熟知，但是模型在知识上存在差异，以及基本模型和其微调模型之间的知识差异。

    Apr, 2024

  • 知识图谱大规模语言模型（KG-LLM）用于链接预测

    通过使用链式思维促进和上下文学习，该研究介绍了一种新方法，即知识图大型语言模型框架（KG-LLM），以提高知识图中多跳链接预测的效果。实验证明，集成上下文学习和链式思维不仅增加了方法的性能，而且显著提高了模型的泛化能力，从而在陌生情境中实现更准确的预测。

    Mar, 2024

  • 我们是否可以通过上下文学习来编辑事实知识？

    通过在不更新参数的情况下展示上下文，利用 in-context learning (editing) 的策略可以达到和梯度下降方法相当的 GPT 大型语言模型知识编辑效果。

    May, 2023

  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023

  • 大型语言模型作为事件预测器

    通过使用大型语言模型，本文研究了如何在维持竞争性准确率的同时，简化时态知识图谱学习框架的设计，通过使用指令微调适合编码器 - 解码器生成式语言模型进行对象预测，并设计了简单而有效的提示模板，用于每个 TKG 五元组的多事件预测。实验结果表明，此方法具有有效性和鲁棒性。

    Jun, 2024