Jun, 2022

组合视觉推理基准测试

PDF
TL;DR该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。
visual reasoningsample efficiencycompositionalityneural architecturesdata-efficient learning algorithms
发现论文，激发创造
  • 视觉概念学习中的组合多样性

    本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

    May, 2023

  • 无强先验条件下的视觉推理学习

    通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

    Jul, 2017

  • 朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

    通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

    Jan, 2024

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • GenAI-Bench: 评估和改进文本到视觉生成能力

    本文通过对 GenAI-Bench 上的人类评分进行广泛研究，评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能，并发现 VQAScore 比先前的评估指标（如 CLIPScore）明显优于人类评分，而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名（3 到 9 张）从而显著提高生成速度，在需要高级视觉语言推理的复合提示下，VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。

    Jun, 2024

  • CLEVR：一个用于组合语言和初级视觉推理的诊断数据集

    通过建立人工智能系统，以便对视觉数据进行推理和回答问题，我们需要有诊断测试来分析进展并发现缺点。该研究提出了一种诊断数据集，测试了各种视觉推理能力，包含最小的偏差并具有详细注释，描述每个问题需要的推理类型，用于分析各种现代视觉推理系统，提供了新的洞见，以及它们的能力和限制。

    Dec, 2016

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • 透明度设计：在视觉推理中弥合性能与可解释性之间的差距

    本文提出一种可视化推理基元的方法，将其组合成一种能够通过显式可解释的方式执行复杂推理任务的模型，并在 CLEVR 数据集上取得了 99.1% 的准确度，同时有效地学习了泛化表示。

    Mar, 2018

  • 视觉类比：深度学习与组合模型

    本论文比较了人类视觉类比问题解决能力和三种不同的计算模型的性能，包括成分模型、连体网络和关系网络，结果显示成分模型的定性表现与人类推理者相似，而深度学习模型的表现则不如人类。

    May, 2021