multi-modal reasoning | BriefGPT

关键词multi-modal reasoning

搜索结果 - 19

FSMR：一种基于特征交换的多模态推理方法，结合文本和视觉线索
该论文介绍了一种名为特征交换多模态推理（FSMR）模型的方法，通过特征交换来增强多模态推理，提供了图像和文本的有效特征表示，并加强了模型对图像和文本之间相互作用的理解，通过多模态交叉注意机制实现了文本和视觉信息的联合建模，实验证明 FSMR
PDF3 months ago
通过有效的跨模态蒸馏弥合视觉定位的模态差距
我们提出了一种名为 EpmVG 的多模态可视化定位的强化预训练模型框架，通过一种跨模态蒸馏机制，它能有效引入预训练模型中图像和文本的一致性信息，减少主干网络中存在的域差，从而提高了模型在可视化定位任务中的性能，实验证明我们的方法优于现有的最
PDF6 months ago
大型语言模型的检索增强多模态思维链推理
使用检索机制动态自动选择基于跨模态相似性的示例，以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例，以增加示例的多样性。通过一系列实验，我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。
PDF7 months ago
MM一种解决几何问题的符号字符感知模型
通过开发一个符号字符感知模型，该研究旨在完全探索符号字符在文本和图解理解中的角色，并在多模态推理框架下优化模型。该模型在解决几何问题的通用编码器 - 解码器流水线中得到整合，经过大量实验，在两个基准数据集（GeoQA 和 Geometry3
PDFa year ago
ACL文本、表格和图像问答的统一语言表示
本文提出了一种新的跨模态推理方式，即将图像和表格转换为统一的语言表示，以简化任务并利用先前训练好的语言模型，同时介绍了一种名为 Solar 的框架，实验结果表明，Solar 在两个数据集上的表现优于所有现有方法，并在 WebQA 排行榜上取
PDFa year ago
通过合成任务数据评估多模态推理模型的能力
该论文通过高分辨率的文本图像生成技术，开发了一种针对多模态推理任务的评估数据生成框架，并使用此框架生成了一种复杂且缺乏数据集支持的任务的合成数据集，以进行性能测试。研究发现，在这项任务上，最先进的视觉问答模型的性能明显低于标准 VQA 任务
PDFa year ago
ACL一种基于多模态上下文推理的条件推断方法，适用于联合文本和视觉线索
提出了一种名为 ModCR 的多模态上下文推理方法，结合文本信息和图像信息进行上下文推理，相较于之前的基于预训练视觉 - 语言模型的方法，ModCR 将给定的文本抽象语义和客观图像信息作为上下文信息，在预训练的语言模型中嵌入它们进行上下文推
PDFa year ago
LLaMA-Adapter V2: 参数高效的视觉指令模型
本文介绍 LlaMA-Adapter V2，是一种解锁更多可学习参数并引入早期融合策略、共同训练数据的参数高效视觉指令模型，可用于多模态推理，对于开放式的视觉指令，具有更强的泛化能力。
PDFa year ago
EMNLP基于信息论的视频对话文本幻觉减少
该研究设计了一种文本幻觉缓解框架（THAM），并通过当前的对话系统运用该框架验证了其在基准测试（即 AVSD @ DSTC7 和 AVSD @ DSTC8）上对 Video-grounded 对话的有效性和提高的解释性。
PDF2 years ago
EMNLP视频对话生成中的多模态语义图协同推理
本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。
PDF2 years ago
分层本地 - 全局变压器用于时间句子定位
本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，
PDF2 years ago
富有表现力多模式查询支持下的食谱内容和制备过程的计划式丰富食谱表达
本文探讨在食品领域运用 AI 进行决策支持的构建，需要更好地表达和处理食谱信息，为此构建了一个基于计划的可机器理解食谱表示和 TREAT，这种方法可以提高智能化制作食品效率。
PDF2 years ago
CVPRWebQA：多跳和多模态 QA
本论文中，我们提出了 WebQA，它引入了一个具有挑战性的新测量标准，该标准涉及大规模最先进模型的困难之处，缺乏新颖对象的语言基础视觉表达和推理能力，但对人类来说却很简单。我们的社区挑战是创建统一的多模态推理模型，这些模型可以回答问题，而不
PDF3 years ago
ICLRPerceiver IO: 一种针对结构化输入输出的通用体系结构
本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先
PDF3 years ago
MDETR -- 基于调制的端到端多模态理解检测
该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。
PDF3 years ago
用于解释双模态和编码器 - 解码器 transformers 的通用注意力模型可解释性
本文提出了第一个用于解释任何基于 Transformer 结构的预测的方法，包括双模态 Transformers 和具有协同注意力的 Transformers，通过考虑并行的多个注意力图来突出与模型输入预测相关的信息。我们将这种通用的解决方
PDF3 years ago
AAAI在 Transformer 网络中利用层间和层内的全局表示来改进图像字幕生成
该研究介绍了一种名为 GET 的全局增强变压器，能够提取更全面的全局表示，并自适应地引导解码器生成高质量的图像说明。
PDF4 years ago
CVPRX-Linear Attention Networks 图像标注
本文为了提高图像描述任务中的交叉多模态推理（Multi-modal Reasoning）表现，提出了一种新颖的 X-Linear 注意力块和注意力网络（X-LAN），利用双线性池化策略和指数线性单元（Exponential Linear U
PDF4 years ago
IJCAI通过自适应推理和加权似然估计的生成式视觉对话系统
本文提出了一种新的训练方案，结合加权最大似然估计方法，解决视觉对话系统中基于最大似然估计方法学习正例回答而忽略负面回答导致响应过于安全或普遍的问题。此外，作者还设计了自适应多模态推理模块，自动适应不同的对话场景并选择相关信息，实验结果证明了
PDF5 years ago