ACLJul, 2023

沾上 PLMs 酱：通过条件软提示桥梁结构和文本以有效完善知识图谱

PDF
TL;DR本文提出了一种名为 CSProm-KG 的方法，该方法通过平衡结构信息和文本知识来完成知识图谱的补全任务，CSProm-KG 只调整由实体和关系表示生成的条件软提示的参数，验证了其在多个静态和动态知识图谱补全基准测试中的有效性和优越性。
knowledge graph completionpre-trained language modelsconditional soft promptsstructural informationtextual knowledge
发现论文，激发创造
  • 使用预训练语言模型驱动知识图谱补全的提示式解耦嵌入

    我们提出了一种名为 PDKGC 的新的知识图谱补全方法，该方法利用了提示信息和冻结的预训练语言模型，具有更全面的实体预测能力，与现有方法相比表现更好。

    Dec, 2023

  • 提升大型语言模型在知识图谱补全中的性能

    利用大型语言模型（LLM）的结构感知推理能力，将知识图谱（KG）中的结构信息嵌入到 LLMs 中，从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架，并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。

    Oct, 2023

  • 基于结构实体锚点的高效对比知识图谱补全的统一结构和语义

    使用预训练语言模型方法，结合实体锚点和负采样的方式有效地统一了结构信息和语义信息，提高了知识图谱完成任务的性能，尤其在关联预测任务上表现最佳，超过了现有结构为基础的方法。

    Nov, 2023

  • MoCoSA: 基于动量对比的结构增强预训练语言模型用于知识图谱补全

    该研究提出了一种基于结构增强的预训练语言模型（MoCoSA）的动能对比方法，用于知识图谱完成，通过可适应的结构编码器使预训练语言模型能感知结构信息，并使用惯性难负采样和内部关系负采样提高学习效率。实验结果表明，该方法在平均倒数排名（MRR）方面达到了最先进水平，在 WN18RR 上提高了 2.5％，在 OpenBG500 上提高了 21％。

    Aug, 2023

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 预训练语言模型是否真能推断知识图谱中未见节点的关联？

    通过预训练模型的知识获取，我们提出了一种方法用于构建合成数据集，研究表明预训练模型在知识图谱补全中具备了推理能力，尽管性能的提高主要来自实体和关系的文本信息。

    Nov, 2023

  • 基于知识引导提示的因果感知概念提取

    本文提出一种基于结构性因果模型 (SCM) 的知识引导提示，以减轻 PLM 提取过程中的概念偏见，并在多语言知识图谱数据集上展示了该提示的有效性。

    May, 2023

  • 知识提示调整模型用于顺序推荐

    我们提出了一种集成领域知识与通用知识的推荐系统，通过引入外部知识库构建关系模板和知识树，并利用知识提示和知识树掩码来解决语义差距和噪声问题，实验证明我们的方法在多个评估指标上优于现有方法。

    Aug, 2023

  • G-SAP：基于图的异构知识的常识推理结构感知提示学习

    我们提出了一种用于常识推理的新型基于图结构的提示学习模型，名为 G-SAP，旨在在 LM+GNNs 模型中保持异构知识的平衡并增强跨模态的交互。通过将多个知识源整合到证据图中，采用结构感知的冻结 PLM 来完全融合来自证据图的结构化和文本信息，利用异构消息传递推理模块促进 LM 和基于图的网络之间的深度交互。通过在三个基准数据集上进行大量实验证明了所提出模型的显着性能，尤其在 OpenbookQA 数据集上相比目前现有的 LM+GNNs 模型有 6.12％的改进。

    May, 2024

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021