CVPRMar, 2023

分治策略：基于对象分解和组合推理的问题解答

PDF
TL;DR本文提出了一种基于物体分解和语义关系的视觉推理框架，包括物体因子分解方法和神经模块网络，具有较好的推理能力和泛化性能，并且提供了可解释的决策过程界面。
visual reasoningcompositional perspectiveneural module networkobject factorizationinterpretable interface
发现论文，激发创造
  • 组合视觉推理基准测试

    该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。

    Jun, 2022

  • 组合分层张量分解：表示层次内在和外在因果因素

    本文提出了一种统一的张量模型，引入了一种组合式分层张量分解方法，解开了物体图像形成的层级因果结构，减少了训练数据需求，使物体识别在遮挡条件下更加可靠，在人脸识别领域得到了广泛的应用。

    Nov, 2019

  • 视觉概念学习中的组合多样性

    本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

    May, 2023

  • OC-NMN: 面向生成性视觉类比推理的物体中心化组合神经模块网络

    人工智能的一个关键方面是想象力，即以新颖的方式组合学习的概念，以理解新的情境。本研究展示了如何利用模块化和想象力创建一个基于物体的组合神经模块网络（OC-NMN）框架，用于视觉推理和生成任务，并证明该方法可以带来更好的非分布式泛化性能。

    Oct, 2023

  • 朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

    通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

    Jan, 2024

  • 衡量视频问答的组成一致性

    本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

    Apr, 2022

  • 使用组合推理变换器从语言模型中解开推理能力

    ReasonFormer 是一个统一的推理框架，受认知科学中的双过程理论的启发，它可以模拟人类在复杂决策制定中的模块化和组合推理过程。它由表示模块和推理模块组成，可以捕捉不同层次的认知过程，并模拟组合推理过程来控制推理技能的激活以及推理深度。ReasonFormer 通过单一模型解决多个任务，并在端到端的方式下进行训练和推断。在 11 个需要不同推理技能和复杂度的数据集上进行评估，ReasonFormer 展示了显著的性能提升，揭示了组合推理的能力。而且它在少样本的实验中表现出更好的泛化能力，并解耦表示模块和推理模块。最后通过进一步的分析也揭示了推理模块的模块化特性。

    Oct, 2022

  • 通用依赖树上的视觉问答推理

    本文提出了一种新的推理网络 ACMN，由两个协作模型组成：对抗注意力模块和残差组合模块，能够构建一种可解释的 VQA 系统，通过逐步跟随问题驱动的推理路线，逐渐深入理解图像线索并以原则性的方式合并所有注意力模块的学习知识进行全局推理。

    Mar, 2018

  • 迈向无监督视觉推理：现成特征是否具备推理能力？

    本研究探索了通过视觉表征学习来评估对象信息如何被保留，例如它们的空间位置、视觉属性和相对关系，并介绍了一种用于评估视觉表征的协议，重点关注视觉推理的任务，比较了局部特征和面向对象的特征对于视觉推理的影响。

    Dec, 2022

  • 面向任务的模块化网络用于零样本组合学习

    提出一种基于模块化体系结构和任务驱动的深度神经网络，能够在零样本情况下进行组合推理和分类，并在广义零样本分类问题上使用小模块优于现有方法。

    May, 2019