Jun, 2024

选择性视觉是视觉推理的挑战：视觉论证理解的基准测试

PDF
TL;DRAI 的视觉论证理解能力受限，当面临视觉论证时，模型的正确性只有 78.5%，而人类的正确性达到了 98.0%。
visual argumentsaivisargsvisual premisesdeduction
发现论文，激发创造
  • 无强先验条件下的视觉推理学习

    通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

    Jul, 2017

  • 选择性视觉表现提升具身人工智能的收敛性和泛化能力

    基于选择性注意力的体感人工智能的参数高效的视觉刺激过滤方法在目标导航和目标位置变换等任务中展现出最先进的性能，并且在其他仿真环境中具有更好的泛化性和更快的收敛速度。

    Nov, 2023

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020

  • 以对象为中心的视觉推理诊断

    该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。

    Dec, 2020

  • 基于粗到细的视觉问答推理

    本文提出了一种新的推理框架来填补 VQA 任务中视觉特征和语义线索之间的语义鸿沟，实现了特征和谓词的有效联合学习，并在三个大规模数据集上实现了其他最先进方法无法比拟的准确度，同时还提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。

    Oct, 2021

  • 自然语言视觉推理

    本论文提出了一个自然语言视觉推理的任务，通过图片和描述语句的配对，预测描述语句在给定场景中的真假。该任务涉及自然语言、机器人代理、语言输入、视觉推理以及合成图像等方面。

    Oct, 2017

  • 回答视觉问题所需的视觉技能

    本研究旨在发掘视觉问答任务中的共同视觉技能，包括目标识别、文本识别、颜色识别和计数，并探讨这些技能对于人类和计算机的难易程度，最终提出了一个新的任务 —— 预测回答图像问题所需的视觉技能。我们的研究结果显示了实际用户需求与人工智能社区关注的重点之间的不匹配，并提出了关于未来研究视觉问答任务的展望。

    Oct, 2020

  • V-PROM：使用视觉渐进矩阵进行视觉推理的基准测试

    我们提出了一个可衡量深度学习模型在视觉问题中推理抽象关系和概括概念能力的测试基准，并评估了多种深度学习架构的测试结果，其中相对网络表现较好。

    Jul, 2019