Dec, 2023

虚拟世界建模与物理动力学理解

PDF
TL;DRCounterfactual World Modeling (CWM) is a pure vision model that uses a temporally-factored masking policy for predicting video data and enables counterfactual queries to extract vision structures, achieving state-of-the-art performance on the Physion benchmark.
发现论文，激发创造
  • 通过反事实世界建模统一（机器）视觉

    引入了反事实世界建模 (Counterfactual World Modeling) 框架，构建了一个视觉基础模型：一个统一的、无监督的网络，可以提示执行各种视觉计算，结果表明 CWM 是将机器视觉的众多技术统一起来的一种很有前途的途径。

    Jun, 2023

  • CoPhy: 计算物理动力学的反事实学习

    研究提出了一个新的问题，即如何从视觉输入中进行物体力学的反事实学习，并提出了一种用于在反事实情境下学习物理动态的模型。通过学习对初始条件进行干预时对其结果的影响，和对潜在因素的学习，该网络可以捕捉到物理环境的潜在特性，从而具有超越人类表现的预测能力。

    Sep, 2019

  • 增强世界模型促进从单个脱机环境实现零样本动态泛化

    本论文介绍了如何在在线环境中使用增强世界模型来改善零样本泛化，从而提高强化学习的性能。

    Apr, 2021

  • 时空图形反事实：概览

    通过比较不同的反事实模型、理论和方法，并构建统一的图形因果框架，为推断时空反事实提供了一个调查研究。

    Jul, 2024

  • 大型多模态模型中减轻幻觉效应的反事实植入

    使用反事实关键词和双模式验证过程，该论文提出了一种增强大型多模态模型在处理错误回应和无关回应时的可靠性的方法，以减轻幻觉现象并提高模型的可信度。

    Mar, 2024

  • 反事实推理：语言模型在因果理解中是否需要世界知识？

    本文通过使用反事实条件句，利用心理语言学实验和更大规模的数据集，对比了多种流行的预训练语言模型中的反事实预测，并发现大多数模型主要受简单的词汇线索驱动。当控制世界知识和词汇线索效应时，只有 GPT-3 在反事实细微差别的语言基础知识上显示出敏感性。

    Dec, 2022

  • 回溯反事实

    本文探索并规范了在 SCM 框架中的反事实推理的另一种模式 ——backtracking account，并在相关文献和可解释的人工智能领域进行讨论和连线。

    Nov, 2022

  • OCTET: 基于对象的反事实解释

    本研究提出了一种以物体为中心的框架来生成反事实解释，该方法通过将查询图像编码到潜在空间中，以便在物体级别上进行操作，并且可以适用于驾驶场景的反事实解释基准测试，并且设计并运行了用户研究以衡量反事实解释在理解决策模型方面的有用性。

    Nov, 2022

  • 通过反事实学习减轻弱监督目标定位中的偏置激活

    本文研究基于类激活映射（CAM）的弱监督物体定位方法中偏置激活的问题，分析了其原因，基于此设计了一个新的 Counterfactual Co-occurring Learning（CCL）范例，并将 Counterfactual-CAM 集成进了模型中，通过合理设计网络结构，成功地减少了干扰信息的影响，并在多个基准测试中实现了精确的物体定位。

    May, 2023

  • 使用反事实概念瓶颈模型攀登可解释性阶梯

    深度学习模型不足以同时解决预测类别标签以解决给定分类任务（'What?'），解释任务预测（'Why?'），以及想象可能导致不同预测的替代场景（'What if?'）的三个基本问题。为了填补这一差距，我们引入了 CF-CBMs（CounterFactual Concept Bottleneck Models），一类能够高效地同时解决上述问题而无需进行事后搜索的模型。我们的结果表明，CF-CBMs 能够产生准确的预测（'What?'），对任务预测提供简单的解释（'Why?'），以及可解释的反事实情况（'What if?'）。CF-CBMs 还能对概念干预对任务的影响进行采样或估计最可能的反事实，显示用户如何获得所需的类别标签，并提出基于任务的概念干预。

    Feb, 2024