- MM突破通用:利用视觉语言预训练模型增强图像字幕生成的实际知识
利用视觉 - 语言预训练模型(VLP)和知识引导回放(K-Replay)方法,将大规模网络收集的知识融入图像描述中,以提高其准确度和知识识别能力。
- SUMBot: 开放域对话系统中的上下文概述
本文研究了在开放式对话系统中将相关信息作为上下文的问题,并提出了一种替换上下文部分的简易方法以增加模型跟踪先前相关信息的能力,以期提高答案生成任务的效果。
- 知识图谱融合用于语言模型微调
探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解,并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。
- 知识驱动的分子学习:范式转移的调查
本文概述了领域知识对分子学习的影响,介绍了使用不同方法将领域知识纳入深度学习模型的范例以及分子学习中新兴的范例转移方法,并指出了分子学习未来的有趣方向。
- 先理性再回应:知识注入对话模块化生成
本文提出了一个模块化的知识转换模型(K2R)来将知识纳入对话体系,通过将这一问题分解为两个简单的步骤来解决对该问题的挑战。在详细实验中,我们发现这种模型在与知识相关的对话任务中幻觉较少,并且具有解释性和模块化方面的优势。
- ICLR预训练百科全书:弱监督知识预训练语言模型
本文研究预训练语言模型(如 BERT)在零样本的事实推理任务中的知识捕获,提出一种有效的弱监督预训练目标,通过实体知识的显式融入,实现了对真实世界知识的建模,实验结果表明,该模型在答题、实体类型标注等任务上均优于 BERT。
- 如何通过额外知识来提升自然语言常识问答能力?
本文提出了将外部常识知识与语言模型相结合的方法,以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型,分析预测结果并探索进一步改进的范围。
- 深度卷积神经网络中的非迭代知识融合
该研究提出了两种方法可以将具有不同知识的神经网络的信息合并,一个是通过加权和的简单操作,另一个是通过修改权重来转移知识;这些方法被应用于分类等任务,并证明其效率。
- ACL任务导向对话中的语言和知识解耦
本文提出一种编码器 - 解码器体系结构 (BoSsNet),其中使用一种新颖的序列构成袋 (BoSs) 记忆方法,实现了响应的语言模型和其知识结合的解耦学习,从而使知识库可以用新的知识修改而不降低可解释性。 BoSsNet 在 bAbI O