Jun, 2023

通过反事实世界建模统一（机器）视觉

PDF
TL;DR引入了反事实世界建模 (Counterfactual World Modeling) 框架，构建了一个视觉基础模型：一个统一的、无监督的网络，可以提示执行各种视觉计算，结果表明 CWM 是将机器视觉的众多技术统一起来的一种很有前途的途径。
machine visioncounterfactual world modelingvisual foundation modelneural networksunsupervised network
发现论文，激发创造
  • 虚拟世界建模与物理动力学理解

    Counterfactual World Modeling (CWM) is a pure vision model that uses a temporally-factored masking policy for predicting video data and enables counterfactual queries to extract vision structures, achieving state-of-the-art performance on the Physion benchmark.

    Dec, 2023

  • 定义视觉新时代的基础模型：调查与展望

    视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

    Jul, 2023

  • 眼见不一定全是实情：多模态大语言模型因果推理能力的基准测试

    基于现有多模态大型语言模型 (MLLMs) 在视觉问答评测方面的认知和推理能力，我们提出了一个新的 CFMM（Counterfactual MultiModal）基准测试，以系统评估 MLLMs 的反事实推理能力，发现现有 MLLMs 往往更加倾向于相信所见而忽视问题中提到的反事实前提，因此导致了不准确的回答，同时也表明现有 MLLMs 在逼近人类智能方面仍有较大提升空间，我们还探索了通过在未来提升 MLLMs 在 CFMM 上的表现来发展具备先进智能的 MLLMs 的潜在途径。

    Apr, 2024

  • 基于基础世界模型的自主机器人零射击安全预测

    提出了基础世界模型，通过将观察结果转化为有意义且因果潜在的表示，使代理动力学可以直接预测因果未来状态，并且在安全预测任务中表现优于标准世界模型，与监督学习相比具有可比拟的性能，而且不需要使用任何数据。

    Mar, 2024

  • OCTET: 基于对象的反事实解释

    本研究提出了一种以物体为中心的框架来生成反事实解释，该方法通过将查询图像编码到潜在空间中，以便在物体级别上进行操作，并且可以适用于驾驶场景的反事实解释基准测试，并且设计并运行了用户研究以衡量反事实解释在理解决策模型方面的有用性。

    Nov, 2022

  • 大型多模态模型中减轻幻觉效应的反事实植入

    使用反事实关键词和双模式验证过程，该论文提出了一种增强大型多模态模型在处理错误回应和无关回应时的可靠性的方法，以减轻幻觉现象并提高模型的可信度。

    Mar, 2024

  • 神经世界模型与计算机视觉

    该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

    Jun, 2023

  • 使用反事实概念瓶颈模型攀登可解释性阶梯

    深度学习模型不足以同时解决预测类别标签以解决给定分类任务（'What?'），解释任务预测（'Why?'），以及想象可能导致不同预测的替代场景（'What if?'）的三个基本问题。为了填补这一差距，我们引入了 CF-CBMs（CounterFactual Concept Bottleneck Models），一类能够高效地同时解决上述问题而无需进行事后搜索的模型。我们的结果表明，CF-CBMs 能够产生准确的预测（'What?'），对任务预测提供简单的解释（'Why?'），以及可解释的反事实情况（'What if?'）。CF-CBMs 还能对概念干预对任务的影响进行采样或估计最可能的反事实，显示用户如何获得所需的类别标签，并提出基于任务的概念干预。

    Feb, 2024

  • 假设干预下的临床结果预测 —— 用表示学习框架进行反事实推理

    本研究提出了一种新的表示学习框架 - 部分概念瓶颈，该框架将反事实解释作为风险模型的嵌入式属性，有助于研究人员和临床医生改进个性化护理，探索干预的假设性差异效应。

    May, 2022

  • CausaLM：通过反事实语言模型解释因果模型

    文章提出了 CausaLM 框架，基于 fine-tuning 的 deep contextualized embedding models 通过辅助对抗性训练任务，学习给定概念的反事实表示，用于估计其对模型性能的真实因果效应。我们的方法的副产品是一种语言表示模型，可以减轻数据中固有的不良偏差。

    May, 2020