Dec, 2022

超级 CLEVR：诊断视觉推理领域鲁棒性的虚拟基准测试

PDF
TL;DR通过 Super-CLEVR 虚拟基准测试数据，我们研究了不同领域转移的因素，考察了四种现有的 VQA 方法，两种神经符号方法和两种非符号方法以及我们提出的方法 P-NSVQA，发现结合不确定性推理，将推理和感知分离形成一个强大的基于视觉与前因关系问题答案模型，可以更好地应对域迁移。
visual question answeringsuper-clevrdomain shiftneural symbolic methodsprobabilistic reasoning
发现论文，激发创造
  • 测量 CLEVRness：对视觉推理模型的黑盒测试

    通过视觉问答框架和基于 CLEVR 的故障排除数据集，提出了一种双方游戏来评估视觉智能系统的推理能力，并探讨了数据驱动方法在没有利用数据集中的种种偏见的情况下是否可以进行推理。

    Feb, 2022

  • ViCLEVR：一种用于越南视觉问答的视觉推理数据集和混合多模态融合模型

    通过引入具有开拓性质的 ViCLEVR 数据集，该研究对当代视觉推理系统进行了全面分析，提出了一种综合的多模态融合模型 PhoVIT，并在四个评估指标上取得了最先进的性能，进一步促进了针对低资源语言的多模态融合算法的发展。

    Oct, 2023

  • QLEVR: 一个用于量化语言和基本视觉推理的诊断数据集

    本文介绍了一个最小偏差、诊断性的视觉问答数据集 QLEVR，专注于集合概念和复杂量化，挑战了当前最先进的视觉问答模型的能力。

    May, 2022

  • CLEVR-POC：部分可观察环境下的推理密集型视觉问答

    CLEVR-POC 是一个基于部分可观察环境下的逻辑约束的推理密集型视觉问答基准，通过集成 GPT-4 大型语言模型、视觉感知网络和形式逻辑推理器，展示了在可用且至关重要的环境特定背景知识下实现卓越性能的神经符号模型。

    Mar, 2024

  • CLEVR：一个用于组合语言和初级视觉推理的诊断数据集

    通过建立人工智能系统，以便对视觉数据进行推理和回答问题，我们需要有诊断测试来分析进展并发现缺点。该研究提出了一种诊断数据集，测试了各种视觉推理能力，包含最小的偏差并具有详细注释，描述每个问题需要的推理类型，用于分析各种现代视觉推理系统，提供了新的洞见，以及它们的能力和限制。

    Dec, 2016

  • CLEVR-X：自然语言解释的视觉推理数据集

    本文介绍了一个基于机器学习的可视化问答生成自然语言解释过程的方法，使用 CLEVR-X 数据集进行自然语言解释的基线结果分析，以及研究了不同问题和不同数量的真实解释对自然语言生成质量的影响。

    Apr, 2022

  • CLEVR3D：3D 实际场景中的组合语言与基本视觉推理问答

    本文提出了在 3D 真实世界场景中进行视觉问答任务的 VQA-3D，并介绍了第一个 VQA-3D 数据集 CLEVR3D 和基于 Transformer 架构的 VQA-3D 基准模型 TransVQA3D。实验证明，将 VQA-3D 作为辅助任务可以提高 3D 场景理解的性能。

    Dec, 2021

  • 早期融合和批次规范对 CLEVR 视觉问答中细节的影响

    本文研究了在 Visual QA 领域中取得强大性能的初馈聚合模型的复杂性，发现了一些架构上的要素对于其性能的关键作用，其中早期的语言 - 视觉融合是最为有效的，为此我们提出了一种称之为 “多模核” 的简单模块，旨在为多模任务提供基本操作。

    Sep, 2018

  • CLEVR_HYP：用于基于图像进行假设性动作的视觉问答的挑战数据集和基线模型

    本研究基于 CLEVR 数据集，将视觉理解提高到更高层次，通过思考特定操作在给定情境下的假想后果来回答问题，并提出了基于最佳现有 VQA 方法的基线求解器。此外，研究还探讨了多种体系结构实施图像 - 文本模态联合推论的能力，为开发更好的视觉语言模型提供了思路。

    Apr, 2021

  • 一种神经符号 ASP 管道用于视觉问答

    我们提出了一种基于神经符号的可视化问题回答管道，可以使用 ASP 求解程序对 CLEVR 问题的计算答案，并证明了使用合理选择规则的非确定性场景编码相对于相关神经符号方法具有更高的准确性和更高的效率。

    May, 2022