Nov, 2023

De-fine: 图像程序的分解和精化与自动反馈

PDF
TL;DR通过引入定义 (De-fine) 的模型无关方法，将复杂任务分解为简单子任务并通过自动反馈优化程序，从而提高逻辑推理性能，在多个视觉任务中实现更准确、更健壮的程序，创造了该领域的新纪录。
visual programmingmodular paradigmunsupervised learningdecompositionlogical reasoning
发现论文，激发创造
  • VisualProg Distiller: 非可微视觉编程框架的微调学习

    通过视觉编程（VisualProg）的过程精馏，我们提出了一种方法来优化每个 VisualProg 子模块的性能，从而提高整体任务性能，并在大规模数据集上进行了广泛而全面的实验评估。

    Sep, 2023

  • VDebugger: 利用执行反馈来调试视觉程序

    VDebugger 是一种用于本地化和调试可视化程序的评审 - 提炼框架，通过跟踪执行步骤识别和修正程序错误，利用详细的执行反馈提高了可解释性和准确性。

    Jun, 2024

  • 视觉程序蒸馏：将工具和编程推理融入视觉 - 语言模型

    通过 Visual Program Distillation (VPD) 框架将大型语言模型 (LLM) 的理解能力提炼到一个具备单次前向传递解决复杂视觉任务的视觉 - 语言模型 (VLM) 上，从而改善计数、理解空间关系和组合推理等能力，并在真实世界的应用（有限数据情况下的内容管理）中得到验证。

    Dec, 2023

  • 视觉编程：无需训练的构成性视觉推理

    VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

    Nov, 2022

  • 通用视觉分解器：简化长时控制

    通过提出 Universal Visual Decomposer (UVD) 作为一种针对视觉长时程操作的通用任务分解器，该方法基于预训练的视觉表示，通过检测嵌入空间中的相位变化来发现子目标，并在零附加训练成本的情况下在标准视觉运动策略训练上有效提取视频中的视觉子目标，进而在未知任务上展示了显著的组合泛化性能，并且可以用于构建基于目标的奖励塑形以加速强化学习中的时间扩展探索。

    Oct, 2023

  • 视觉编程的神经任务合成

    使用神经符号技术 NeurTaskSyn, 可以为给定的编程要求自动综合编程任务，可提高编程教育的质量。

    May, 2023

  • 一个用于细粒度视觉分类的新插件模块

    本文提出了一种新的插件模块，可集成到 CNN 或 Transformer 等常见的后背网络中，输出像素级特征图并融合过滤后的特征以增强细粒度视觉分类，实验结果表明所提出的插件模块优于现有方法，可显着提高准确性。

    Feb, 2022

  • 多樣視頻演示生成程序

    本文介绍一种可以从视频演示中提取概括性规则的模型，并探讨了其处理多个序列的能力，从而相较于传统的概括技术可以更好地利用边缘情况，并无需进行额外的过滤。通过在 Vizdoom 环境中合成程序的实验，取得了相对于现有工作的 11.75% 的程序准确性的提升。

    Feb, 2023

  • 学习推理程序草图

    本文介绍一种用于程序自动合成的方法，通过结合模式识别和显式推理来解决这些复杂的编程问题，同时使用新颖的中间表示和训练算法，使程序合成系统能够自学，从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。

    Feb, 2019

  • 推断和执行视觉推理程序

    本文采用模块化网络模型，使用神经网络实现程序生成器和执行引擎，通过反向传播和 REINFORCE 的训练方法，在视觉推理任务（CLEVR）上打破基线模型，表现显著优越，并在各种环境中具有更好的推广性能。

    May, 2017