HYDRA：用于动态组合视觉推理的超级智能体

Mar, 2024

HYDRA：用于动态组合视觉推理的超级智能体

HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning

Fucai Ke, Zhixi Cai, Simindokht Jahangard, Weiqing Wang, Pari Delir Haghighi...

TL;DRHYDRA 是一个多阶段动态组合视觉推理框架，利用大规模数据集和语言模型进行可靠且递增进化的推理，表现出了在各种视觉推理任务上的最新性能。

Abstract

Recent advances in visual reasoning (VR), particularly with the aid of Large Vision-language models (VLMs), show promise but require access to large-scale datasets and face challenges such as high computational c

visual reasoning large-scale datasets compositional visual reasoning language models dynamic reasoning framework

发现论文，激发创造

适应性操作的独立领域智能体体系结构在不断变化的开放环境中

提出了一种名为 HYDRA 的框架，通过引入视觉推理、任务选择和行动执行模块，以及一种新颖的元推理过程，使模型引导的 agent 能够在混合离散 - 连续环境中自动检测、理解并适应其演化，实现对复杂环境的闭环交互。

Jun, 2023

交互式机器人操作的混合组合推理方法

本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

Oct, 2022

朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

Jan, 2024

HYDRA: 黑盒 LLM 个性化的模型分解框架

通过模型分解与知识捕捉，HYDRA 提供了一种个性化生成的解决方案，实现了用户特定行为模式与共享知识的结合。在 LaMP 基准测试中，HYDRA 相对于现有的基于提示的方法平均相对改进 9.01％。

Jun, 2024

多层级组合推理的互动指令跟随

使用多层次组合推理代理（MCR-Agent）将任务分解为多个子目标，分别处理导航和交互，实现了对复杂任务的有效执行，并在效率指标上相较于现有技术获得了 2.03％的绝对增益，无需使用基于规则的计划或语义空间记忆。

Aug, 2023

通过多个协作推理的方式增强人类中心动态场景理解

人类中心的动态场景理解在增强机器人和自主系统能力中发挥关键作用，而基于视频的人物 - 物体交互检测是语义场景理解的关键任务之一，本研究提出了一种新颖的基于多语言模型协作推理的视频人物 - 物体交互检测框架，通过从多个角度进行推理，提高了基础模型的预测准确性。

Mar, 2024

异构图学习用于视觉常识推理

本文提出了一种新的异构图学习框架（HGL），用于在视觉和语言领域之间建立联系，以帮助解决视觉常识推理的挑战，该框架包括主要的 VAHG 模块和双重 QAHG 模块以及上下文投票模块，能更好地进行全局推理。在大规模的视觉常识推理基准测试中，实验结果表明，我们提出的模块在三个任务中均取得了优异的表现。

Oct, 2019

组合视觉推理基准测试

该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。

Jun, 2022

走向自顶向下推理：可解释的多代理视觉问答方法

本论文提出了一个可解释的多智能体协作框架，通过利用在广泛语料库上训练的大型语言模型中嵌入的知识，以人类认知为灵感，使用三个智能体，即探索者、回答者和整合者，进行自顶向下推理过程，从而明确地构建特定图像场景的多视图知识库，以自顶向下的处理方式推理答案。我们在多样化的视觉问答数据集和视觉语言模型上对我们的方法进行了广泛评估，并通过全面的实验结果证明了其广泛的适用性和可解释性。

Nov, 2023

使用组合推理变换器从语言模型中解开推理能力

ReasonFormer 是一个统一的推理框架，受认知科学中的双过程理论的启发，它可以模拟人类在复杂决策制定中的模块化和组合推理过程。它由表示模块和推理模块组成，可以捕捉不同层次的认知过程，并模拟组合推理过程来控制推理技能的激活以及推理深度。ReasonFormer 通过单一模型解决多个任务，并在端到端的方式下进行训练和推断。在 11 个需要不同推理技能和复杂度的数据集上进行评估，ReasonFormer 展示了显著的性能提升，揭示了组合推理的能力。而且它在少样本的实验中表现出更好的泛化能力，并解耦表示模块和推理模块。最后通过进一步的分析也揭示了推理模块的模块化特性。

Oct, 2022