谨言慎行:显式生成隐含常识知识以产生响应
本研究提出了一种基于自我对话的无监督框架,通过向语言模型提出一系列信息寻求问题来发现更多的背景知识,有效提高了零射模型在四个常识基准测试上的性能,并与从外部知识库获得知识的模型相竞争。
Apr, 2020
本研究针对 commonsense 在对话回应生成中的作用进行了实证研究,提出了一种新的对话数据集,并利用 ConceptNet 这个 commonsense 知识库,找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型,该研究提出的自动评估方法显示出一定合理的评价效果。
Sep, 2021
该研究提出一种新的框架,通过口头提示和策略驱动的未来鉴别器来融合常识知识并控制对话生成,从而改善预训练语言模型的共情式对话生成性能。实验证明,社会常识知识的融合和生成控制的强制执行有助于提高性能。
Feb, 2023
该研究旨在通过探究响应生成模型对常识推理的理解程度以诱发适当的响应来缩小当前响应生成模型和人类沟通能力之间的差距,探测 RG 模型的常识推理能力并提出了两个探针设置来评估 RG 模型的常识推理功能。结果表明,模型无法捕获常识解释和响应之间的逻辑关系,领域内数据的微调和增加模型规模并不能带来对 CSR 的理解,这一研究有望激励更多的研究使 RG 模型效仿人类推理过程以实现流畅的人工智能交流。
Apr, 2021
本文提出了一种新颖的共情回应生成方法,该方法将自适应模块应用于常识知识选择,以确保生成的共情回应与说话者的情境一致,并使用所选知识来完善常识认知和共情表达以生成更一致和共情的回应。实验结果表明,与基准模型相比,我们的方法在自动和人类评估方面都显着优于基线模型,生成更一致和共情的回应。此外,案例研究强调了响应中知识选择的可解释性以及自适应模块在我们的模型中的有效性。
May, 2023
本文研究了将常识知识有效地集成到对话模型中的影响,并在基于检索的情境下提出了 Tri-LSTM 模型,将消息和常识联合起来选择适当的响应,实验证明知识增强模型比无知识模型在自动评估中表现更好。
Sep, 2017
本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题,提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事,并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系,从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。
Jan, 2020
通过从语言模型中产生知识并将其作为额外输入用于回答问题,我们开发了一种生成知识提示方法,它不需要针对知识集成的任务特定监督,也不需要访问结构化的知识库,并在四个常识推理任务中提高了大规模、最先进模型的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。
Oct, 2021
本论文提出了一种利用对话共享常识知识的唯一特征来解决总结难题的方法,介绍了 SICK 框架,该框架使用常识推理作为额外上下文,比先前仅依赖于输入对话的工作更具优势,实验证明注入常识知识后,我们的框架生成的总结比现有方法更具信息性和一致性。
Sep, 2022
本论文中,我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能,通过从 Conceptnet 中提取常识关系,将这些关系注入到 Unified Language Model (UniLM) 中,并通过输出约束强制实施词汇要求,以提高生成文本的语义正确性和符合人类理解,从而实现了匹配词性和完全概念覆盖的要求。
Dec, 2020