WIQA 是一个包含大量关于程序性文本 “What if…” 问题的数据集，其中包括描述过程的段落、描述一个变化如何影响另一个的众包影响图和从图中派生的大量 “what if…” 多项选择问题，包括对段落中提到的步骤进行干扰、需要常识知识的外部干扰以及无关紧要的干扰等三种类型。我们发现，当前的最先进模型的准确率为 73.8％，远低于人类表现的 96.3%。该数据集是社区的一个开放性挑战，其中一个主要的挑战是跟踪影响链。

Sep, 2019

该研究提出了一种新的 QA（Question Answering）模型范式，通过引入反事实数据增强的方式，使模型能够预测基于给定语境知识和基于参数化知识的两种答案，从而改善模型的鲁棒性和生成有用的无关答案。

Nov, 2022

本文通过利用结构化知识库进行确定性、最优和可控的词级替换，以探究 VQA 模型行为的解释和鲁棒性，并从反事实的回答中提取局部和全局解释，发现可能的偏见和影响模型的性能的预期和意外模式，揭示了模型决策过程中的潜在偏见。

Mar, 2023

介绍了一个包含在线信息获取论坛上的自然分布条件失败的问答数据集 CREPE，其中 25％的问题包含虚假前提；通过实验表明现有的开放域问答模型可以适当地找到前提，但很难预测前提是否属实，CREPE 提供了研究野外问答的基准，并为更好地建模和深入研究任务提供了途径。

Nov, 2022

多模态反事实推理是人工智能系统中重要而具有挑战性的能力，为了克服数据集的限制，研究人员开发了 ACQUIRED 数据集，涵盖了一系列事件类型，综合了物理、社会和时间三个推理维度，可以全面评估模型的反事实能力。与最先进的语言模型和多模态模型相比，实验结果显示存在着显著的性能差距，这表明多模态反事实推理仍然是一个开放挑战，并且 ACQUIRED 是一个全面可靠的基准，可激发未来该方向的研究。

Nov, 2023

我们聚焦于多模态大型语言模型的反事实推理能力进行基准测试，并通过新收集的测试数据集评估了最新的视觉语言模型和代码生成 LLMs 的能力，发现目前存在较大的发展空间。

Oct, 2023

通过学习生成对抗性图片对视觉问答模型进行解释，从而使得人们可以理解其内部机制。

Nov, 2019

本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

Oct, 2021

使用 Wizard of Oz 的方法结合众包技术，从三个 Stack Exchange 网站收集了 2437 组对话和 10917 个问答信息，构建了 DoQA 数据集，为 FAQ 站点中的大量领域特定信息构建了面向对话的问答（QA）界面，并介绍了更多的实际检索信息场景，取得了良好的性能。

May, 2020

该论文介绍了 MalAlgoQA，这是一个用于评估大型语言模型（LLMs）通过教育方法的反事实推理能力的新型数据集。该数据集包含数学和阅读理解问题，每个问题都附有四个答案选项及其对应的解释。我们关注不正确答案解释，称为 “malgorithms”，强调导致错误答案的错误推理步骤，并提供有关错误思维过程的有价值的见解。我们还提出了 Malgorithm 识别任务，用于根据给定的错误答案选择来评估 LLMs 识别相应 malgorithm 的能力。为了评估模型性能，我们引入了两个指标：正确答案解释的算法识别准确率（AIA）和错误答案解释的 malgorithm 识别准确率（MIA）。该任务具有挑战性，因为最先进的 LLMs 在 MIA 方面表现出较大的下降。此外，我们发现，“思维链提示” 技术不仅无法始终提高 MIA，而且与简单提示相比也可能导致性能不佳。这些发现在更注重教育视角的更具认知启发的 LLMs 的开发中具有重要意义，以提高其反事实推理能力，特别是在理解和纠正学生错误观念方面。

Jul, 2024