利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT

Nov, 2022

利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT

ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering

Byeongmin Choi, YongHyun Lee, Yeunwoong Kyung, Eunchan Kim

TL;DR本研究提出使用最新的预训练语言模型 ALBERT 结合知识图谱信息提取技术，方法为模式图扩展，并分析应用于最近的预训练语言模型的知识图谱基础知识提取技术的效果，并证实模式图扩展在某种程度上是有效的。此外，我们表明在 CommonsenseQA 数据集中，我们提出的模型可以比现有的 KagNet 和 MHGRN 模型实现更好的性能。

Abstract

Recently, pre-trained language representation models such as bidirectional encoder representations from transformers (BERT) have been performing well in commonsense question answering (CSQA). However, there is a problem that the models do not directly use explicit information of knowle

pre-trained language representation models knowledge-aware graph network multi-hop graph relation network knowledge graph information extraction technique schema graph expansion

发现论文，激发创造

KG-BERT: 知识图谱补全任务的 BERT 模型

本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

Sep, 2019

KagNet: 基于知识的图网络用于常识推理

该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

Sep, 2019

大型语言模型与知识图谱相遇：回答事实性问题

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

在预训练模型中加入常识知识图谱以进行社交常识任务

该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

May, 2021

伟大的真理总是简单的：一种相当简单的知识编码器，用于增强预训练模型的常识推理能力

本文研究了如何通过增强预训练语言模型的知识感知图神经网络编码器来解决复杂的常识推理任务，并发现这种方法中的关系特征是主要的贡献因素。通过基于统计关系路径获取的特征设计一个简单的 MLP-based 知识编码器，不仅提高了 PTMs 的性能，而且还大大减少了编码 CSKGs 的参数。

May, 2022

序列到序列的知识图谱补全与问答

本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示，将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型，这种简单而强大的方法在保持推理时间可控的同时，将模型大小减少了多达 98％，在不进行过多超参数调整的情况下，在多个大型数据集上的表现优于基线。

Mar, 2022

基于多跳关系推理实现可扩展的知识感知问答

本论文提出了一种新颖的知识感知方法，将预训练语言模型与多跳关系推理模块相结合，对外部知识图谱子图进行多跳关系推理。该方法统一了基于路径的推理方法和图神经网络，提高了可解释性和可伸缩性，并在常识问答和开放式书面问答数据集上证明了其有效性和可伸缩性，并通过案例研究进行了解释。

May, 2020

CogMG：大型语言模型与知识图谱之间的协同增强

使用协作增强框架 CogMG，结合知识图谱解决了大型语言模型在问答场景中的不完整知识覆盖和知识更新不匹配的问题，并通过监督微调的 LLM 在一个代理框架中展示了在减少幻觉和提高答案的事实准确性方面取得的显著改进。

Jun, 2024

具有句法信息的异构图变换器问答

本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

Apr, 2022

基于伪知识图谱与多源知识图谱的大型语言模型增强在开放式问答中的应用

采用伪图生成和原子知识验证相结合的框架，实现了在开放式问题回答环境中利用知识图谱 (KG) 增强大型语言模型 (LLM)，对于开放式问题的 ROUGE-L 得分至少提高 11.5，对于精确问题的准确度至少提高 7.5，并展示了在不同 KG 来源下的泛化能力。

Feb, 2024