compositional reasoning | BriefGPT

关键词compositional reasoning

搜索结果 - 32

ConMe: 对现代 VLMs 的组合推理重新思考的评估
我们提出了一种新的数据生成流水线 ConMe，利用视觉 - 语言模型 (VLMs) 产生具有挑战性的复合推理问题，并通过与同类模型协同对话揭示其弱点，建立了一个稳健的复合推理基准，验证表明我们的基准相对于以前的基准提高了高达 33% 的复合
PDF22 days ago
基于大语言模型的概率图模型的语言表达
本文介绍了一种新颖的贝叶斯提示方法，通过使用一个语言大模型（LLMs）中的一个模糊概率图模型（PGM）来实现无需训练的贝叶斯推理。我们的模型在多个组合推理任务中取得了良好的效果，有效提升了置信度的引发和文本生成质量，显示出在模拟不确定性方面
PDFa month ago
使用忠实、简洁和可传递的原理教授 MLLMs
在这项研究中，我们引入了一种名为 Fact 的新范式，旨在生成忠实、简洁和可传递的多模态理由，通过可验证的视觉编程生成可执行的代码，从而增强了它的忠实性和精确性，并通过剪枝、合并和桥接等一系列操作提高了简洁性，同时通过过滤可以从编程范式传递
PDF3 months ago
起飞准备好了吗？构成和条件推理可能是（预订航班）语言代理的致命弱点
我们选择研究组合推理和条件推理这两个人类认知的基石，并引入了 GroundCocoa—— 一个将这些推理技能与航班预订这个现实世界问题联系起来的，具有词汇多样性的基准测试，结果表明，即使在先进的提示技术下，最好的模型 GPT-4 Turbo
PDF3 months ago
理解和修复 LLMs 中的组合推理
我们的研究揭示了 LLMs 在复合推理任务中的失败根源，即大多数失败源于生成或利用不当的隐性推理结果。深入研究发现隐性推理结果确实存在于中间层，并在塑造最终明确推理结果中发挥因果作用，我们还发现多头自注意力模块是生成和利用隐性推理结果的关键
PDF4 months ago
FiGCLIP: 细粒度 CLIP 适应通过密集标注视频
通过基于 VidSitu 数据集的细节导向字幕和层级损失，我们改进了 contrastive language image pretraining (CLIP) 模型，提高了其对细粒度和句法的理解能力，并在不同任务中取得了稳定的改进。
PDF6 months ago
朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员
通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。
PDF6 months ago
CoVLM：通过通信解码在大型语言模型中组合视觉实体和关系
我们提出了 CoVLM 框架，通过引入通信令牌实现视觉感知与 LLMs 之间的无缝连接，从而大幅提升了以往视觉语言模型在组合推理任务上的性能，并在传统的视觉 - 语言任务中取得了最先进的表现。
PDF8 months ago
关于部件、姿势和遮挡的 3D 感知视觉问答
通过引入 3D 感知的视觉问答（3D-aware VQA）任务以及相应的数据集 Super-CLEVR-3D 和模型 PO3D-VQA，本论文探索了在视觉场景的三维结构上进行合成推理的挑战性问题，实验证明 PO3D-VQA 模型在 3D 感
PDF8 months ago
CompA：音频语言模型中的组合推理差距解决方案
通过 ALM 和 CLAP 的训练方法，本研究提出了 CompA，用于评估 ALMs 的组合推理能力，并发现现有的 ALMs 在组合推理方面的表现仅略好于随机选择，而通过改进训练方法和引入模块化对比损失的 CompA-CLAP 显著提高了组
PDF9 months ago
AAAI多层级组合推理的互动指令跟随
使用多层次组合推理代理（MCR-Agent）将任务分解为多个子目标，分别处理导航和交互，实现了对复杂任务的有效执行，并在效率指标上相较于现有技术获得了 2.03％的绝对增益，无需使用基于规则的计划或语义空间记忆。
PDFa year ago
密集对齐字幕（DAC）促进视觉语言模型中的组合推理
本文探索了影响视觉语言模型组合推理性能的两个因素：对齐图像 - 文本数据集的质量和文本的密度。通过在 CC3M 数据集上 fine-tuning CLIP 模型，我们证明了自动处理这些影响因素的方法可以使模型的组合推理性能显著提高，基于基线
PDFa year ago
SCITAB: 一个用于科学数据表格组合推理和论断验证的重要基准测试
构建 SCITAB 数据集用于科学事实审查，从实际科学陈述中提取复合表理推理的 1225 个挑战性科学主张，将其证据呈现为表格形式，揭示了现有提示方法的限制和挑战，提出了未来研究方向。
PDFa year ago
简单的令牌级别置信度提高了字幕的正确性
本研究通过 Token-Level Confidence 方法，即超级简单的代币置信度方法，成功提高了图像和相应标题一致性的评估准确性，有效避免了对象视觉幻觉的错误输出。
PDFa year ago
COLA：如何将视觉语言模型适应对象属性本地化组合？
通过设计 Cola 基准测试，探索了 6 种微调策略，发现一种轻量级的多模态适配器优于常见策略，可在预训练模型生成的图像和语言特征上联合关注。
PDFa year ago
CVPRANetQA：针对未修剪视频的细粒度组合推理的大规模基准测试
本研究介绍了 ANetQA，这是一个支持对挑战性非剪辑视频进行精细组成式推理的大规模基准测试。与现有的基准测试相比，它通过自动从预注释场景图中生成 QA 对，使得可以对多样化的推理能力进行粒度控制。与 AGQA 相比，ANetQA 的 QA
PDFa year ago
可解释的语言推理增强版 (EVR+): 一种支持多样化组合推理的自然语言推理框架
本文提出了 Explainable Verbal Reasoner Plus (EVR +) 的推理框架，它通过允许模型显式生成和执行符号运算符，并灵活地将一个复杂任务分解为若干简单任务，增强了语言模型的组合推理能力。实验结果表明，该推理框
PDFa year ago
Chameleon：大型语言模型的即插即用组合推理
本文提出了 Chameleon 框架，该框架通过在 Large language models（LLMs）上加上合成程序的方式来提高 LLMs 的能力，特别是在处理需要精确数学推理、使用外部工具或获取最新信息的任务时。作者通过使用科学问题答
PDFa year ago
使用合成数据的视觉和语言模型超越名词
本文旨在通过提供一百万级的、人工合成的图像数据集 SyViC 和相应的数据生成代码，以及细调模型的策略，探讨如何提高视觉语言模型对非物体类词汇等方面（即超越名词的视觉语言概念）的理解和组合推理能力，从而在保持零样本准确度的前提下，极大提高模
PDFa year ago
衡量和缩小语言模型中的组合性差距
探究了语言模型在对复合性推理任务中的表现，提出了评估模型的整体解决方案的组成性差异比率，并发现随着模型大小的增加，其单次跳问题回答的性能比多次跳问题更快提高，而提供良好的渐进提示可以缩小这种差距，其中 self-ask 方法最近进一步提高了
PDF2 years ago