通过 Visual Program Distillation (VPD) 框架将大型语言模型 (LLM) 的理解能力提炼到一个具备单次前向传递解决复杂视觉任务的视觉 - 语言模型 (VLM) 上，从而改善计数、理解空间关系和组合推理等能力，并在真实世界的应用（有限数据情况下的内容管理）中得到验证。

Dec, 2023

VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

Nov, 2022

通过引入定义 (De-fine) 的模型无关方法，将复杂任务分解为简单子任务并通过自动反馈优化程序，从而提高逻辑推理性能，在多个视觉任务中实现更准确、更健壮的程序，创造了该领域的新纪录。

Nov, 2023

我们引入了新颖的扩散可视化编程器 (DVP)，这是一个神经符号图像转换框架。我们提出的 DVP 在 GPT 架构中无缝嵌入了一个条件灵活的扩散模型，为各种符号步骤（包括 RoI 识别、风格转换和位置操作）提供一致的视觉程序序列，实现透明和可控的图像转换过程。大量实验证明了 DVP 的卓越性能，超过了当前艺术的表现。其中 DVP 的几个关键功能是：通过实例标准化实现条件灵活的翻译，使模型消除了手动引导导致的敏感性，并始终专注于用于高质量内容生成的文本描述；框架通过将特征空间中的复杂高维概念解读为更易理解的低维符号（如 [Prompt]、[RoI object]）来增强上下文推理能力，从而实现了局部的、无上下文的编辑和整体的一致性维护；最后，DVP 在每个编程阶段提供明确的符号表示，提高了系统的可控性和可解释性，使用户能够直观地解释和修改结果。我们的研究在将人工图像翻译过程与认知智能相协调方面迈出了重要的一步，具有广泛的应用前景。

Jan, 2024

通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架 VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

Apr, 2024

Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

Oct, 2023

从少数示例中抓取灵活的视觉概念。我们探索了一种神经符号系统，该系统学习如何推断以通用方式捕捉视觉概念的程序。我们引入了模板程序：来自特定领域语言的程序表达式，用于指定输入概念中的结构和参数模式。我们的框架支持多个与概念相关的任务，包括通过解析进行少数示例生成和共分割。我们开发了一种学习范式，使我们能够从包含概念分组的视觉数据集中直接训练推断模板程序的网络。我们在多个视觉领域进行实验：2D 布局，Omniglot 字符和 3D 形状。我们发现我们的方法优于特定任务的替代方案，并在存在有限领域特定方法的领域中表现出有竞争力。

Mar, 2024

本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

Nov, 2015

使用神经符号技术 NeurTaskSyn, 可以为给定的编程要求自动综合编程任务，可提高编程教育的质量。

May, 2023

VDebugger 是一种用于本地化和调试可视化程序的评审 - 提炼框架，通过跟踪执行步骤识别和修正程序错误，利用详细的执行反馈提高了可解释性和准确性。

Jun, 2024