May, 2024

MMCTAgent：复杂视觉推理的多模态批判性思维代理框架

PDF
TL;DR这篇论文介绍了 MMCTAgent，这是一个新颖的多模态批判性思维代理框架，旨在解决当前 MLLM 在复杂视觉推理任务中的固有限制。通过从人类认知过程和批判性思维中获得灵感，MMCTAgent 迭代地分析多模态信息，分解查询，计划策略，并动态发展其推理能力。此外，MMCTAgent 还融入了验证最终答案和自我反思的批判性思维元素，通过定义基于视觉的评论员并识别任务特定的评估标准，从而增强其决策能力。通过在各种图像和视频理解基准上进行严格评估，我们证明 MMCTAgent（有和无评论员）优于基础 MLLM 和其他工具增强的流水线。
发现论文，激发创造
  • CT-Agent: 临床试验多智能体基于大语言模型的推理

    一个整合了 GPT-4、多智能体架构、从最少到最多过滤排序和反应推理技术的临床多智能体系统（CT-Agent），在临床试验任务中提高了大语言模型的性能，并引入了新的功能。

    Apr, 2024

  • Cantor: MLLM 的多模态思维链激发

    通过结合视觉环境获取和逻辑推理，本论文提出了一种名为 Cantor 的创新的多模态 CoT 框架，利用多模态大语言模型的认知能力解决复杂的视觉推理任务，该框架通过分析图像和问题实现对视觉输入的整合，利用大语言模型的高级认知功能生成更高级别的信息，提高了多模态 CoT 性能。

    Apr, 2024

  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023

  • MAgIC: 大型语言模型驱动的多智能体在认知、适应性、合理性和协作方面的基准测试

    这项研究介绍了一个专门用于评估大型语言模型在多主体环境中能力的基准测试框架，通过游戏和博弈论场景来创建不同的测试环境，并利用概率图模型方法增强模型的导航能力，最终量化评估了七种不同大型语言模型的能力，发现最强模型 GPT-4 和最弱模型 Llama-2-70B 之间存在三倍的能力差距，同时证实了概率图模型增强了所有模型的能力，平均提高了 50%。

    Nov, 2023

  • 通过模型选择实现鲁棒的多模式推理

    我们提出了一个名为 $ extit {M}^3$ 框架的插件，用于提高多模态代理在多步推理中的模型选择和鲁棒性，同时创建了一个新的数据集 MS-GQA，用于研究多模态代理中的模型选择挑战，并通过实验证明我们的框架能够动态地选择模型，考虑用户输入和子任务之间的依赖关系，从而增强整体推理过程的鲁棒性。

    Oct, 2023

  • CORE-MM: 多模态大型语言模型的复杂开放式推理评估

    我们手动策划了一个专为多模态大型语言模型（MLLMs）设计的基准数据集，重点关注复杂推理任务，通过评估中间推理步骤来准确测量其推理能力。

    Nov, 2023

  • 多模态大型语言模型（MLLMs）的推理能力探索：多模态推理中新兴趋势的综述

    综合评估了多模态大语言模型的现有评估协议，分类和说明了多模态大语言模型的前沿，介绍了多模态大语言模型在推理密集型任务上的最新趋势，并讨论了当前的实践和未来的发展方向。

    Jan, 2024

  • 视觉 CoT：在多模态语言模型中释放连续思维推理

    该论文提出了 Visual CoT，一种利用多模态大型语言模型（MLLMs）的推理能力的新型流程，通过结合可解释性认知链条（CoT）推理来处理复杂的视觉输入，并提供可解释的思路。我们收集并引入了 Visual CoT 数据集，该数据集包含 373k 个问题 - 答案对，通过中间边界框突出显示回答问题所必要的关键区域，能够评估在需要特定局部区域识别的场景中的 MLLMs 的性能。大量实验证明了我们的框架的有效性，并为更好的推理策略提供了启示。Visual CoT 数据集、基准和预训练模型可用于促进相关方向的进一步研究。

    Mar, 2024

  • 多模态大语言模型（MLLMs）中的视觉推理和多智能体方法：解决 TSP 和 mTSP 组合挑战

    多模态大语言模型（MLLMs）利用覆盖文本、图像和音频的全面知识来灵活应对复杂问题，包括零样本上下文学习场景。本研究探讨了 MLLM 在使用描绘二维平面上点分布的图像解决旅行商问题（TSP）和多旅行商问题（mTSP）的能力。我们引入了一种创新的方法，使用多个专门的代理人在 MLLM 框架内，每个代理人都致力于优化这些组合挑战的解决方案。实验研究涉及严格的零样本设置评估，并引入了创新的多代理零样本上下文场景。结果表明，多代理模型（Multi-Agent 1 和 Multi-Agent 2）显著改善了 TSP 和 mTSP 问题的解决质量。Multi-Agent 1 在需要详细路径优化和评估的环境中表现出色，为复杂优化提供了一个稳健的框架。相反，Multi-Agent 2 侧重于由初始化器和评论者进行迭代优化，在快速决策场景中表现出有效性。这些实验取得了有希望的结果，展示了 MLLM 在解决多样化组合问题中的强大视觉推理能力。这些发现强调了 MLLM 作为计算优化强大工具的潜力，为这个有希望领域的进一步发展提供了启示。

    Jun, 2024

  • 增强类人多模态推理：一项新的具有挑战性的数据集和全面框架

    多模态推理是实现类似人类智能的人工智能系统的关键组成部分，本文介绍了多模态链式思维（CoT）技术，并提出 COACO-MMRD 数据集，通过全面评估不同方法，提供了有价值的见解和创新技术，包括多跳跨模态注意力和句级对比学习，以增强图像和文本编码器的性能，通过广泛的实验证明了所提出数据集和技术的有效性，为推进多模态推理提供了新的视角。

    Jul, 2023