Oct, 2023

通过模型选择实现鲁棒的多模式推理

PDF
TL;DR我们提出了一个名为 $ extit {M}^3$ 框架的插件，用于提高多模态代理在多步推理中的模型选择和鲁棒性，同时创建了一个新的数据集 MS-GQA，用于研究多模态代理中的模型选择挑战，并通过实验证明我们的框架能够动态地选择模型，考虑用户输入和子任务之间的依赖关系，从而增强整体推理过程的鲁棒性。
llmmulti-modal agentsmodel selectionmulti-step reasoningms-gqa
发现论文，激发创造
  • 大型多模态代理：综述

    大型语言模型在多媒体领域的研究和发展方向的全面回顾，介绍了大型多媒体代理的开发要素和分类，评估方法的编制以及未来研究方向的提出。

    Feb, 2024

  • CORE-MM: 多模态大型语言模型的复杂开放式推理评估

    我们手动策划了一个专为多模态大型语言模型（MLLMs）设计的基准数据集，重点关注复杂推理任务，通过评估中间推理步骤来准确测量其推理能力。

    Nov, 2023

  • Tool-LMM：一个用于工具智能学习的大型多模态模型

    通过使用多模态编码器将开源大语言模型（LLM）与多模态输入指令结合起来，我们提出了 Tool-LMM 系统，使学习的 LLMs 能够意识到多模态输入指令并正确选择匹配功能的工具，实验证明我们的 LMM 能够为多模态指令推荐适当的工具。

    Jan, 2024

  • 多模态大型语言模型（MLLMs）的推理能力探索：多模态推理中新兴趋势的综述

    综合评估了多模态大语言模型的现有评估协议，分类和说明了多模态大语言模型的前沿，介绍了多模态大语言模型在推理密集型任务上的最新趋势，并讨论了当前的实践和未来的发展方向。

    Jan, 2024

  • 基于大语言模型的推理自动模型选择

    本研究通过使用不同的模型进行模型选择，在充分分析理论基础上，在八个推理数据集上实现了显著的性能改进，并在 GSM8K 和 SVAMP 上实现了 96.5％和 93.7％的准确率，达到了最新的研究成果。

    May, 2023

  • 小型 LLM 是弱工具学习者：多 LLM 代理

    我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

    Jan, 2024

  • 主动协作框架：零样本多模态医学推理的查询、交互和集成

    我们提出了一个多模态医疗协作推理框架 MultiMedRes，通过学习者代理从领域特定专家模型获取必要信息来解决医疗多模态推理问题，并在 X 射线图像的区别视觉问答任务中验证了方法的有效性。

    May, 2024

  • 大型语言模型的多阶段规划任务中的类人推理框架

    我们在此研究中专注于解决多阶段旅行计划问题，通过开发类似人类规划模式的规划框架来提高 LLM 代理的规划能力，实验结果表明我们的框架与 GPT-4-Turbo 结合能够在旅行计划任务中获得显著的性能提升。

    May, 2024

  • 推进大型多模型：明确的推理链与视觉问题生成

    本文介绍了一种通过图像内容和文字指令进行显式推理的新方法，采用大型多模态模型（LMM），并引入了一个能够提问以获取必要知识以增强推理过程鲁棒性和可解释性的系统。实验结果表明我们的方法能够在面对模糊的视觉输入时，朝着更具鲁棒性、准确性和可解释性的 LMM 迈进。

    Jan, 2024

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024