EMNLPNov, 2023

现实生活视频中回答反事实问题的数据集：ACQUIRED

PDF
TL;DR多模态反事实推理是人工智能系统中重要而具有挑战性的能力，为了克服数据集的限制，研究人员开发了 ACQUIRED 数据集，涵盖了一系列事件类型，综合了物理、社会和时间三个推理维度，可以全面评估模型的反事实能力。与最先进的语言模型和多模态模型相比，实验结果显示存在着显著的性能差距，这表明多模态反事实推理仍然是一个开放挑战，并且 ACQUIRED 是一个全面可靠的基准，可激发未来该方向的研究。
multimodal counterfactual reasoningai systemsacquiredvideo question answering datasetbenchmark
发现论文，激发创造
  • 如果电视关闭了会怎么样？研究多模态语言模型的反事实推理能力

    我们聚焦于多模态大型语言模型的反事实推理能力进行基准测试，并通过新收集的测试数据集评估了最新的视觉语言模型和代码生成 LLMs 的能力，发现目前存在较大的发展空间。

    Oct, 2023

  • 眼见不一定全是实情：多模态大语言模型因果推理能力的基准测试

    基于现有多模态大型语言模型 (MLLMs) 在视觉问答评测方面的认知和推理能力，我们提出了一个新的 CFMM（Counterfactual MultiModal）基准测试，以系统评估 MLLMs 的反事实推理能力，发现现有 MLLMs 往往更加倾向于相信所见而忽视问题中提到的反事实前提，因此导致了不准确的回答，同时也表明现有 MLLMs 在逼近人类智能方面仍有较大提升空间，我们还探索了通过在未来提升 MLLMs 在 CFMM 上的表现来发展具备先进智能的 MLLMs 的潜在途径。

    Apr, 2024

  • 通过合成任务数据评估多模态推理模型的能力

    该论文通过高分辨率的文本图像生成技术，开发了一种针对多模态推理任务的评估数据生成框架，并使用此框架生成了一种复杂且缺乏数据集支持的任务的合成数据集，以进行性能测试。研究发现，在这项任务上，最先进的视觉问答模型的性能明显低于标准 VQA 任务。

    Jun, 2023

  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • IfQA: 面向反事实前提的开放领域问答数据集

    本文介绍了第一个 counterfactual open-domain question-answering（QA）数据集（IfQA），并通过在该数据集上进行实证分析证明了如果就文本假设进行推理和检索是一项具有挑战性的任务。

    May, 2023

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 通过预测视频中的反事实性达到多模态解释

    使用视觉语言信息结合最大子路径神经网络层，实现对于多模式信息组合的反事实解释的有效解决方法，对行为识别数据集进行对比实验并提供了信息论上的解释。

    Dec, 2018

  • 基于知识的反事实查询在视觉问答中的应用

    本文通过利用结构化知识库进行确定性、最优和可控的词级替换，以探究 VQA 模型行为的解释和鲁棒性，并从反事实的回答中提取局部和全局解释，发现可能的偏见和影响模型的性能的预期和意外模式，揭示了模型决策过程中的潜在偏见。

    Mar, 2023

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 从反事实自然语言中学习音频概念

    通过引入因果推理和反事实分析，我们在音频领域运用反事实实例，结合声音的特征和来源信息，有效提高了开放式基于语言的音频检索任务的准确率超过 43%。

    Jan, 2024