本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

Mar, 2023

本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

Mar, 2022

本文提出了一种基于神经网络和图增强的点击模型 (GraphCM)，通过在构造的同质图中提取查询和文档之间的信息，分别对吸引力评估器和考试预测器进行建模，通过组合功能将考试概率和吸引力评分融合到点击预测中，综合实验结果表明其在处理数据稀疏性和冷启动问题方面具有优越性能。

Jun, 2022

本研究提出了一种新的预训练语言模型 QUERT，通过四个特定的预训练任务对旅游查询领域的查询特征进行学习，进而提高下游任务的性能。在监督和非监督设置下，下游任务的平均性能分别提高了 2.02％和 30.93％。在 Fliggy APP 上的 A / B 测试中，QUERT 作为编码器应用，将唯一点击率和页面点击率提高了 0.89％和 1.03％。

Jun, 2023

本文提出了一种使用大语言模型的通用交互式查询重写框架，旨在提高透明性和意图理解能力，并改变传统的意图理解方法；在初步实验的支撑下，通过自然语言表达、交互和推理机器意图，取得了显著的排序性能提升。

Jun, 2023

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

May, 2022

本研究主要关注于如何从自然语言问题中构建查询图谱，提出了一种基于语义结构的 BERT 模型进行分析和预测，通过过滤噪声查询图，提高了问题解答的准确性。实验结果表明该方法比现有技术有更好的效果。

Apr, 2022

本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

Jul, 2020

通过引入新的预训练目标，我们提出了一个框架来适应通用语言模型（LM）编码器以理解和表示网页的内容，并在多项任务和 Twitter 内外部基准测试中证明了该方法的有效性。

Oct, 2023