Jun, 2023

CausalVLR: 视觉语言因果推理工具箱和基准

PDF
TL;DRCausalVLR is an open-source toolbox based on PyTorch containing a diverse set of causal inference methods for various visual-linguistic reasoning tasks, with available code and models for training and inference.
causalvlrcausal inferencevisual-linguistic reasoningtoolboxpytorch
发现论文，激发创造
  • 事件级别视觉问答的跨模态因果关系推理

    本文提出了一种名为 CMCIR 的事件级别视觉问答框架，以实现稳健的因果感知视觉 - 语言问答，其利用因果干预方法发现视觉和语言两种模态的真实因果结构，并成功地在四个事件级别数据集上验证了其优越性。

    Jul, 2022

  • CELLO: 大型视觉 - 语言模型的因果评估

    通过细致而统一的因果关系定义以及涉及人类与 / 或物体之间相互作用的显式因果图，本论文构建了一个名为 CELLO 的新数据集，并表明当前的大规模视觉语言模型在因果推理任务上依然面临困难，但可以从提出的因果启发式思维提示策略 CELLO-CoT 中获得显著的收益。

    Jun, 2024

  • 因果推理遇见视觉表征学习：一项前瞻性研究

    本文综述了现有的因果推理方法在视觉表征学习中的应用，探讨了当前方法和数据集的限制，并提出了因果推理算法基准的前景挑战、机会和未来研究方向，以更有效地实现可靠的视觉表征学习及相关应用。

    Apr, 2022

  • 基于因果推理的图像内容生成

    ChatGPT 的出现再次引发了人工智能生成的研究，而此次研究聚焦于 ChatGPT 在语言生成领域的因果推理能力，提出了一种称为 Visual Question Answering with Image（VQAI）的图像生成任务，并基于经典的 Tom and Jerry 动画系列建立了相应的数据集，同时开发了一种应对此任务挑战的新的图像生成范式，并通过广泛的实验和分析来探讨这一方法的潜力和局限性。

    Dec, 2023

  • 跨模态问答中因果感知的视觉场景发现

    本文提出了一个名为 CMQR 的事件级视觉问答推理框架，旨在显式地发现时间因果结构并通过因果干预来减轻视觉虚假相关性。实验结果表明，CMQR 发现了视觉因果结构并实现了鲁棒的问题推理。

    Apr, 2023

  • 从表示到推理：面向视频问答的证据与常识推理

    为了深化视频理解，包含描述、证据推理和常识推理等四类问题，我们提出了因果 - 视频问答任务及两步解决方案，发现最新 VideoQA 方法在描述方面表现强而在推理方面表现弱，希望 Causal-VidQA 能够引导视频理解研究从表示学习向深度推理发展。

    May, 2022

  • CLadder: 评估语言模型因果推理能力的基准

    通过创建一个新的自然语言处理任务，基于因果图和问题，研究大型语言模型在因果推理方面的能力，并提出一种特定的激励策略来评估和分析这种推理能力。

    Dec, 2023

  • 运用变分因果推理泛化目标条件强化学习

    利用 Causal Graph 加强了 Goal-Conditioned RL，提出了一种理论性能保证的优化框架，包括因果性发现、转换建模和策略训练的循环以提高 RL 代理的推理和泛化能力，并在九种任务上与五个基线进行了实证效果验证。

    Jul, 2022

  • 迈向视觉语言机制可解释性：一种用于 BLIP 的因果追踪工具

    通过引入一种单模态因果追踪工具，我们适应了 BLIP 以研究图像条件下文本生成的神经机制，并在视觉问答数据集上展示了我们的方法，强调了较晚层表示对所有标记的因果相关性。此外，我们将我们的 BLIP 因果追踪工具开源，以便社区进一步探索视觉语言机制可解释性。

    Aug, 2023

  • 基于因果关系的跨模态表示学习在视觉和语言导航中的应用

    提出了一种基于因果学习范式的统一框架 CausalVLN，通过建立关于视觉和语言的结构因果模型 (SCM) 的合理假设，并引入视觉和语言门路因果编码器，在训练和验证期间实现无偏特征表达，增强了智能体在不同环境中的泛化能力，并在三个 VLN 数据集上的实验证明了该方法的优越性和显著缩小了在已知和未知环境之间的性能差距。

    Mar, 2024