knowledge enhancement | BriefGPT

关键词knowledge enhancement

搜索结果 - 4

一个增强的跨注意力模型用于基于事件触发的上下文感知故事生成
我们引入了一种新颖的神经生成模型 EtriCA，它通过采用交叉注意机制将上下文特征映射到事件序列上，通过残差映射增强了生成故事的相关性和连贯性。我们进一步采用了一个后训练框架对大规模书籍语料库进行知识增强，使得 EtriCA 能够适应更广泛
PDF6 months ago
KEPR: 生成通用常识问题回答的知识增强和可信度排名
提出了一种基于知识增强和真实性排名的生成式常识问答方法，其中涵盖关键词的常识知识被用于对问题进行扩展并进行归一化，密集通道检索用于捕获相关知识，而不同的 PLM（BART，GPT2 和 T5）网络用于生成答案。而基于 ELECTRA 的答案
PDFa year ago
知识增强预训练语言模型综述
本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。
PDF2 years ago
ERNIE 3.0：大规模知识增强的语言理解与生成预训练
提出了一种统一的框架 ERNIE 3.0，用于预训练大规模知识增强模型，利用自回归网络和自编码网络相结合的方法来让训练好的模型适用于自然语言理解和生成任务，结果表明，该模型在 54 个中文 NLP 任务上优于现有技术，英文版本超越人类表现
PDF3 years ago