KgPLM: 知识引导的语言模型预训练 via 生成学习和区分学习
本文利用分类法阐述了如何将外部知识融入预训练语言模型(PLMs)中解决其因缺乏外部知识而导致的推理能力不足问题,以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。
Nov, 2022
我们使用预训练的语言模型来研究基于知识的对话生成,通过知识选择模块和无监督方法来优化知识选择和响应生成,实验结果表明,我们的模型在自动评估和人类判断方面都显著优于现有方法。
Oct, 2020
本文针对知识图谱问答中不同预训练语言模型的性能对比,基于两个基本框架和三个基准数据集进行了实验和分析,结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助;同时,该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现,最终发布了相关代码与基准数据集供后续研究使用。
Mar, 2023
本文研究如何利用预训练语言模型生成自然语言文本,以便描述知识图谱中的事实,并提出了三项技术创新,包括:语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明,我们的模型在 KG-to-text 生成任务中有效性较高,特别在 few-shot 设置下更是优于所有比较方法。
Jun, 2021
该论文提出了一种基于微调过程的知识感知语言模型框架,将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新,取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。
Sep, 2021
介绍了一种新的预训练框架 —— 知识遗传,并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型,并证明了知识遗传在训练效率方面的卓越表现,同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。
May, 2021
本文介绍了一种新颖的预训练语言模型 DKPLM,它通过解耦知识注入过程的不同阶段,利用基于相关知识三元组的伪标记表示替换长尾实体嵌入,以及设计关系知识解码任务,使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。
Dec, 2021
本论文研究小型模型的预训练问题,提出了一种名为 Language-Guided Distillation (LGD) 的新方法,利用语言指导来帮助在大型网络和小型模型之间传递知识,实现优于现有方法的性能,验证了在分类、检测和分割等多个下游任务中的卓越表现。
Jun, 2024
本论文提出了 Parametric Knowledge Guiding(PKG)框架,使 LLMs 具有在运行时访问相关知识的能力,从而在适应长尾或特定领域任务方面提高性能,并同时考虑了透明度和数据隐私的问题。
May, 2023
本文论述了预训练语言模型(PLM)的重要性以及知识增强型预训练语言模型(KE-PLMs)的研究现状,探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。
Oct, 2021