visual reasoning | BriefGPT

关键词visual reasoning

搜索结果 - 83

思考跨模态的思维步骤白板
白板思维引导是一个简单的方法，可以解锁多模态大型语言模型在视觉推理方面的能力，通过提供 “白板” 以图像形式呈现推理步骤，然后将这些图像返回给模型进行进一步处理。该方法在涉及视觉和空间推理的四个自然语言任务方面展现了最先进的结果，同时解决了
PDF12 days ago
GSR-BENCH: 通过多模态的 LLM 评估接地式空间推理的基准
这篇研究报告通过扩展 What'sUp 数据集，提出了一个全面的评估方法用于空间关系理解，并对 27 种不同模型的性能进行了评估，其中包括早期的视觉语言模型（VLMs）和三类多模态语言模型（MLLMs），以验证其在任务中的表现和研究其规模的
PDF13 days ago
ClawMachine：提取视觉令牌作为实体进行指代和定位
ClawMachine 是一种新的方法，通过直接使用视觉令牌来编码实体，统一了视觉引用和定位的自动回归格式，并通过仅有解码器的架构进行学习，实现了对视觉引用和定位任务的竞争性表现，并减少了对训练数据的需求。此外，ClawMachine 展示
PDF15 days ago
比较视觉指导优化
比较两个图像的共性和差异（CaD）是一种基本的人类能力，它是高级视觉推理和解释的基础，对于生成详细的和与上下文相关的描述、执行比较分析、新颖性检测以及基于视觉数据做出明智决策至关重要。然而，令人惊讶的是，最先进的人类视觉智能模型 - 大型多
PDF19 days ago
多模态大型语言模型中的图像思考激励对于视觉推理优化的影响
近期在 Chain-of-Thought (CoT) 和相关基于理性的研究中，显着提升了大规模语言模型（LLM）在复杂推理任务中的性能。随着多模态大规模语言模型（MLLM）的发展，增强其解决复杂多模态推理问题的能力是至关重要的。然而，将多模
PDFa month ago
学习组合：通过注入组合性提高对象中心学习
学习组合表示是目标为中心的学习的关键方面，它实现了灵活的系统化推广并支持复杂的视觉推理。然而，大多数现有方法依赖于自编码目标，而复杂性通常是由编码器中的架构或算法偏差隐含地施加的。本研究中，我们提出了一种新的目标，明确促进这些表示的复杂性。
PDF2 months ago
BlenderAlchemy：使用视觉语言模型编辑 3D 图形
通过利用 Vision-Language Models（像 GPT-4V）智能地搜索设计动作空间，我们提出了一个系统，以满足用户意图的目标，结合了图像生成模型（image-generation models）的 “想象” 参考图像，为抽象语
PDF2 months ago
Cantor: MLLM 的多模态思维链激发
通过结合视觉环境获取和逻辑推理，本论文提出了一种名为 Cantor 的创新的多模态 CoT 框架，利用多模态大语言模型的认知能力解决复杂的视觉推理任务，该框架通过分析图像和问题实现对视觉输入的整合，利用大语言模型的高级认知功能生成更高级别的
PDF2 months ago
使用丰富视觉编程问题评估多模态编程大型语言模型
在代码编写过程中，开发人员通常利用视觉辅助工具更有效地传达概念。然而，最近在大型多模态模型方面的发展表明在视觉推理和数学任务方面取得了显著能力，但在研究这些模型是否能够有效地解释用于代码生成的视觉元素方面几乎没有相关工作。为此，我们提出了
PDF3 months ago
多模式大型语言模型中的即插即用推理基础
插拔式推理引擎 P2G 在多模态大型语言模型中的可视化推理任务表现优异，特别是在高分辨率图像中的文本和对象细节捕捉方面，与 GPT-4V 的性能相当，为模型扩展之外的有前景的替代方案。
PDF3 months ago
超越嵌入：多模型中视觉表格的潜力
本研究提出了一种用于多模态大型语言模型的新型视觉表达方法 ——Visual Table，它提供了层次化的视觉场景文本描述，并包括了场景描述和多个以对象为中心的描述，涵盖了类别、属性和实例级别的知识。通过生成的视觉表格作为额外的视觉表示，我们
PDF3 months ago
HYDRA：用于动态组合视觉推理的超级智能体
HYDRA 是一个多阶段动态组合视觉推理框架，利用大规模数据集和语言模型进行可靠且递增进化的推理，表现出了在各种视觉推理任务上的最新性能。
PDF3 months ago
跨模态视觉推理的测试时分布学习适配器
在本研究中，我们提出了一种名为 TT-DNA 的测试时分布学习适配器，通过在测试期间直接建模来自支持集的视觉特征的高斯分布，将其与原始的 CLIP 预测进行残差连接，得到最终预测。我们在人类对象交互的视觉推理方面的广泛实验结果表明，我们提出
PDF4 months ago
目标中心的深度神经网络中的视觉推理：一种比较认知方法
通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。
PDF4 months ago
CogCoM：通过一系列操作训练大型视觉语言模型深入细节
通过一系列的操作，视觉 - 语言模型（VLMs）利用可靠的视觉推理生成可追溯错误原因的可解释路径，实现了最新技术水平的性能。
PDF5 months ago
面包或吉娃娃？用多面板视觉语言模型挑战性大的 VQA 任务
通过介绍 Multipanel Visual Question Answering (MultipanelVQA) 基准测试，本研究揭示了 Large Vision Language Models (LVLMs) 对于多子图像的理解存在的挑
PDF5 months ago
朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员
通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。
PDF6 months ago
大型多模态模型的构图推理引导
本研究提出了一种基于场景图的链式思维（Compositional Chain-of-Thought，CCoT）方法，通过在大型多模态模型（LMM）中利用场景图表示来提取组成性知识，从而改进了多种视觉语言（VL）组成性基准的性能以及多模态基准
PDF7 months ago
这张图片有几只独角兽？一项用于视觉语言模型的安全评估基准
该研究聚焦于 Vision LLMs（VLLMs）在视觉推理中的潜力，从评估性能转移到引入了全面的安全评估套件，包括分布外泛化和对抗鲁棒性。
PDF7 months ago
大型语言模型是视觉推理协调器
通过协调多个视觉 - 语言模型，我们提出 Cola，这是一种新颖的方法，通过促进自然语言交流以利用它们的不同且互补的能力，大型语言模型可以高效地协调多个视觉 - 语言模型，从而实现令人印象深刻的视觉推理能力。
PDF8 months ago