提出 DrFact 模型作为 OpenCSR 的一种有效途径，在常识推理基准测试中表现良好，突破了多选题限制的限制，实现对无预定义问题的回答。

Oct, 2020

论文通过构建一个与问题相关的知识图谱并采用顺序子图推理过程来预测答案，提出了一种新的模型来解决多跳推理的通识推理问题，提高了在 OpenCSR 数据集上的性能。

Mar, 2023

该论文提出一个基于本体论的共识问题回答基准术语表，为机器共识领域的研究者提供一个共同的词汇以加强共识问题回答基准的评估。

Dec, 2020

论文概述了 AI commonsense benchmarks 的发展与应用、common sense 的本质及其在 AI 中的作用、构建 commonsense benchmarks 所服务的目标和理想特征。作者分析了现有 benchmark 的常见缺陷，调查了各种构建 commonsense benchmarks 的方法，总结了 139 个 commonsense benchmarks。然而，作者指出现有 benchmark 存在的空缺和 commonsense 推理的方面，并提出了未来的建议。

Feb, 2023

近期在自然语言处理 (NLP) 常识推理研究领域，已经取得了大量新的数据集和基准（benchmark）。然而，这些数据集中的大部分在人工场景中构建常识推理挑战，不反映真实世界 NLP 系统所设计用于解决的任务。本文提出了 CRoW，这是一个手动筛选的多任务基准，用于评估模型在六个真实世界 NLP 任务中应用常识推理的能力。CRoW 使用多阶段数据收集流程构建，通过常识违规扰动重写现有数据集的样例。我们使用 CRoW 研究 NLP 系统在常识知识的不同维度（如物理、时间和社交推理）上的表现。我们发现，在 CRoW 上评估 NLP 系统与人类相比存在显著的性能差距，这表明在真实任务环境中，常识推理远未解决。我们将数据集和排行榜提供给研究社区。

Oct, 2023

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

利用 16,000 个基于网格的环境构建了一个名为 GRASP 的大规模基准，用于对比经典基线方法和先进的 LLMs（如 GPT-3.5-Turbo 和 GPT-4o）在空间推理场景中解决能量收集问题的表现。实验结果表明，即使是这些先进的 LLMs 也很难一直实现令人满意的解决方案。

Jul, 2024

该研究旨在通过探究响应生成模型对常识推理的理解程度以诱发适当的响应来缩小当前响应生成模型和人类沟通能力之间的差距，探测 RG 模型的常识推理能力并提出了两个探针设置来评估 RG 模型的常识推理功能。结果表明，模型无法捕获常识解释和响应之间的逻辑关系，领域内数据的微调和增加模型规模并不能带来对 CSR 的理解，这一研究有望激励更多的研究使 RG 模型效仿人类推理过程以实现流畅的人工智能交流。

Apr, 2021

本研究论文研究现有的常识推理基准测试在实验设计方面存在的难题，提出了一种实验协议，分析了之前实验设计的威胁，以检验性能改进是否代表着通向通识系统的真正进展。

Nov, 2018