CIDER: 对话解释和推理的常识推断
该论文介绍了一个包含多种类型的文本解释的数据集 CICEROv2,提出了一系列的预训练目标来帮助下游任务。结果表明,该论文中的预训练目标对于预训练模型来说是有效的。
Oct, 2022
本文介绍了解决上下文中常识性推理对话推理问题的方法,并介绍了通过 CICERO 数据集解决相关机器学习生成和判别任务的结果,提出 CICERO 对话性常识知识数据集的价值,并为基于常识的对话推理开辟新的研究方向。
Mar, 2022
通过将常识推理分解为明确步骤,从而更好地生成、选择和整合常识来提高对话交互的自然性、参与度、特定性和整体质量,从而在常识推理增强的响应生成领域取得了最新技术进展。
Jun, 2024
本研究针对 commonsense 在对话回应生成中的作用进行了实证研究,提出了一种新的对话数据集,并利用 ConceptNet 这个 commonsense 知识库,找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型,该研究提出的自动评估方法显示出一定合理的评价效果。
Sep, 2021
本文提出了一种通过利用大规模常识和基于命名实体的知识实现的新型开放域对话生成模型,该模型还利用了与每个话语相关的非结构化主题特定知识,并通过使用共指提高了常识知识。提出的模型利用多跳注意力层保留对话历史和相关知识的最准确和最关键的组成部分,还用到 Commonsense and Named Entity Enhanced Attention Module。实验结果表明我们的模型在两个基准数据集上均显著优于最先进的方法。
May, 2022
使用自然语言序列和突出的注释收集人类的常识推理解释,形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型,在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释,可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。
Jun, 2019
本文利用 Transformer 模型及多种技巧,解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理,使用多个常识知识库进行联合推理,并运用 GAN 框架生成同时可信可控的常识命题。
Feb, 2023
本文研究了将常识知识有效地集成到对话模型中的影响,并在基于检索的情境下提出了 Tri-LSTM 模型,将消息和常识联合起来选择适当的响应,实验证明知识增强模型比无知识模型在自动评估中表现更好。
Sep, 2017
该研究旨在通过探究响应生成模型对常识推理的理解程度以诱发适当的响应来缩小当前响应生成模型和人类沟通能力之间的差距,探测 RG 模型的常识推理能力并提出了两个探针设置来评估 RG 模型的常识推理功能。结果表明,模型无法捕获常识解释和响应之间的逻辑关系,领域内数据的微调和增加模型规模并不能带来对 CSR 的理解,这一研究有望激励更多的研究使 RG 模型效仿人类推理过程以实现流畅的人工智能交流。
Apr, 2021