Nov, 2022

视觉编程：无需训练的构成性视觉推理

PDF
TL;DRVISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。
发现论文，激发创造
  • VisualProg Distiller: 非可微视觉编程框架的微调学习

    通过视觉编程（VisualProg）的过程精馏，我们提出了一种方法来优化每个 VisualProg 子模块的性能，从而提高整体任务性能，并在大规模数据集上进行了广泛而全面的实验评估。

    Sep, 2023

  • 视觉编程的神经任务合成

    使用神经符号技术 NeurTaskSyn, 可以为给定的编程要求自动综合编程任务，可提高编程教育的质量。

    May, 2023

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022

  • 神经符号 VQA: 从视觉和语言理解中分离推理

    该论文介绍了神经符号视觉问答系统，结合深度表示学习和符号程序执行，具有更好的数据和内存效率以及对推理过程的全透明度。

    Oct, 2018

  • Pix2Code: 学习将神经视觉概念组合成程序

    利用程序合成扩展到视觉关系推理，通过检索图像中的对象表征并合成关系概念，Pix2Code 提出了一个框架，解决了学习抽象概念的可视化学习领域的一些难题，如泛化性和解释性约束。

    Feb, 2024

  • 可解释性视觉问答的概率神经符号模型

    本研究提出了一种新的概率神经符号模型，其拥有作为潜在随机变量的符号功能程序，并在视觉问题回答的背景下实例化，相比之前的神经符号模型，我们的模型提供了两个关键概念上的优势，第一，我们的模型生成的程序更易理解，需要较少的教学示例； 第二，我们展示了我们可以向该模型提出反事实情景，来探究其对于给定图像可以导致特定答案的程序的信念，我们对 CLEVR 和 SHAPES 数据集的结果验证了我们的假设，在低数据情况下，模型具有更好的方案（和答案）预测准确性，并允许人们探究所执行推理的连贯性和一致性。

    Feb, 2019

  • 推断和执行视觉推理程序

    本文采用模块化网络模型，使用神经网络实现程序生成器和执行引擎，通过反向传播和 REINFORCE 的训练方法，在视觉推理任务（CLEVR）上打破基线模型，表现显著优越，并在各种环境中具有更好的推广性能。

    May, 2017

  • 学习可微分逻辑程序以进行抽象视觉推理

    提出了基于神经 - 符号融合的可微转移学习推理机制，命名为 NEUMANN，并通过推理识别复杂的可视化场景，包括因果推理和抽象概念推理。

    Jul, 2023

  • 朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

    通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

    Jan, 2024

  • 零样本视频问答与程序化程序

    我们提出使用程序化的短程序来回答关于视频的零样本问题，通过解决一系列视觉子任务来得出最终答案。我们提供的 ProViQ 框架在视频理解方面取得了最先进的结果，并在多个基准测试中实现了高达 25% 的提升，可以执行除了问题回答之外的其他视频任务。

    Dec, 2023