本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

Feb, 2023

本研究针对 commonsense 在对话回应生成中的作用进行了实证研究，提出了一种新的对话数据集，并利用 ConceptNet 这个 commonsense 知识库，找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型，该研究提出的自动评估方法显示出一定合理的评价效果。

Sep, 2021

本文介绍了一个基于 CommonGen 任务的数据集，用于评估预训练语言模型的生成常识推理能力，任务的难点在于需要进行关系推理并具有通用性，实验结果表明目前最先进的文本生成模型与人类表现存在很大差距，且生成的常识推理能力可以用于提高 Downstream 任务的性能。

Nov, 2019

本文研究了将常识知识有效地集成到对话模型中的影响，并在基于检索的情境下提出了 Tri-LSTM 模型，将消息和常识联合起来选择适当的响应，实验证明知识增强模型比无知识模型在自动评估中表现更好。

Sep, 2017

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

通过利用大型语言模型的能力，在对话和运用常识推理方面训练可调节的模型，我们提出了先知性常识推理这一创新范式，它能够弥补常识推理过程中的语境不匹配和无法预测未来对话主题的问题，显著提升对话代理的回应质量。

Nov, 2023

为了让对话代理具有常识推理的能力，将外部知识注入预训练的对话模型以建立基本的常识；提出 “双向学习” 方法实现常识知识与语句对之间的双向关系，并利用该集成常识的能力以改进开放域对话响应生成，结果表明 “常识适配器” 融合有助于 DialoGPT 生成一系列常识知识。

Sep, 2022

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

该论文介绍了一个包含多种类型的文本解释的数据集 CICEROv2，提出了一系列的预训练目标来帮助下游任务。结果表明，该论文中的预训练目标对于预训练模型来说是有效的。

Oct, 2022

通过将常识推理分解为明确步骤，从而更好地生成、选择和整合常识来提高对话交互的自然性、参与度、特定性和整体质量，从而在常识推理增强的响应生成领域取得了最新技术进展。

Jun, 2024