Jun, 2024

使用多模态大型语言模型解决组合问题：一个关于旅行推销员问题的案例研究

PDF
TL;DR本文探讨了多模态大型语言模型（MLLMs）利用其视觉能力通过分析平面上点分布的图像来 “观察” 解决旅行商问题（TSP）的方法。实验证实了零样本、少样本、自我集成和自我精化零样本评估的结果令人鼓舞，我们期待这些发现将激发进一步探索 MLLMs 的视觉推理能力，以解决其他组合问题。
multimodal large language modelsmllmsvisual capabilitiestraveling salesman problemcombinatorial problems
发现论文，激发创造
  • 多模态大语言模型（MLLMs）中的视觉推理和多智能体方法：解决 TSP 和 mTSP 组合挑战

    多模态大语言模型（MLLMs）利用覆盖文本、图像和音频的全面知识来灵活应对复杂问题，包括零样本上下文学习场景。本研究探讨了 MLLM 在使用描绘二维平面上点分布的图像解决旅行商问题（TSP）和多旅行商问题（mTSP）的能力。我们引入了一种创新的方法，使用多个专门的代理人在 MLLM 框架内，每个代理人都致力于优化这些组合挑战的解决方案。实验研究涉及严格的零样本设置评估，并引入了创新的多代理零样本上下文场景。结果表明，多代理模型（Multi-Agent 1 和 Multi-Agent 2）显著改善了 TSP 和 mTSP 问题的解决质量。Multi-Agent 1 在需要详细路径优化和评估的环境中表现出色，为复杂优化提供了一个稳健的框架。相反，Multi-Agent 2 侧重于由初始化器和评论者进行迭代优化，在快速决策场景中表现出有效性。这些实验取得了有希望的结果，展示了 MLLM 在解决多样化组合问题中的强大视觉推理能力。这些发现强调了 MLLM 作为计算优化强大工具的潜力，为这个有希望领域的进一步发展提供了启示。

    Jun, 2024

  • 分析多模态大型语言模型的视觉感知

    本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

    May, 2024

  • 基于 GPT-3.5 Turbo 的旅行推销员问题的大型语言模型组合问题求解探索

    研究表明，通过使用大型语言模型（LLMs）结合零 - shot 上下文学习、自执行学习等方法以及自集成方法，可以提高解决旅行推销员问题（TSP）的效果。

    May, 2024

  • 大型语言模型利用形式验证工具进行严谨旅行规划

    提出了一种以大型语言模型为基础的交互规划框架，利用可满足性模理论和 SMT 求解器解决复杂组合优化问题，并在旅行规划领域取得高成功率。

    Apr, 2024

  • 多模态集成如何提升 LLM 在优化中的性能：基于车辆路径问题的案例研究

    通过使用多模式大语言模型处理文本和视觉提示，我们提出一种增强优化性能的方法，在深入理解处理的优化问题方面提供了更综合的视角，类似于人类的认知过程。通过对一个众所周知的组合优化问题进行广泛的实证研究，我们评估了该方法的有效性，并与仅依赖于文本提示的基于大语言模型的优化算法进行了比较，展示了多模式方法的显著优势。

    Mar, 2024

  • 多模态 LLM 的视觉缺陷探究

    通过对 CLIP 模型的视觉嵌入空间与仅视觉自监督学习的对比研究，我们发现最新的多模态大型语言模型（MLLMs）在视觉能力方面仍然存在系统性缺陷。为了解决这些问题，我们提出了一种特征混合（MoF）方法，通过将视觉自监督学习特征与 MLLMs 相结合，显著提高了它们的视觉基础能力，从而表明视觉表示学习仍然是一个待解决的问题，并且准确的视觉基础对于未来成功的多模态系统至关重要。

    Jan, 2024

  • G-LLaVA：多模态大型语言模型解决几何问题

    利用图像输入，通过理解几何问题，使大型语言模型能够解决几何问题，构建了一个丰富的多模态几何数据集 Geo170K，发展了 G-LLaVA， 在 MathVista 基准测试上以仅有 7B 参数显著优于 GPT-4-V。

    Dec, 2023

  • 利用视觉检测模型增强多模态大型语言模型：实证研究

    通过融合先进的目标检测和光学字符识别模型，我们在多模态大型语言模型的基础上进行了实证研究，以改善对细粒度图像理解的能力并减少回应中的虚构现象。我们的研究探讨了融合检测信息的基于嵌入的方法，该方法对原始多模态大型语言模型的影响以及检测模型的互换性。通过与 LLaVA-1.5、DINO 和 PaddleOCRv2 等模型进行系统实验，我们发现我们的方法不仅在特定的视觉任务中提高了多模态大型语言模型的性能，而且保持了其原始优势。结果表明，改进后的多模态大型语言模型在 10 个基准测试中有 9 个超过了先进模型，在规范化的平均得分上取得了最高 12.99% 的提升，标志着多模态理解领域的重大进展。通过发布我们的代码，我们希望进一步探索多模态大型语言模型在细粒度多模态对话能力方面的应用。

    Jan, 2024

  • 拓展界限：利用大型多模态模型探索零样本物体分类

    该研究论文以大型多模型为主题，探索了通过特定数据集设计的提示词，使用 LMMs 来执行图像分类任务的功效，并研究了 LLVAs 的零样本学习能力。通过四个不同的数据集的基准分析，实验结果表明模型在 MNIST，Cats Vs. Dogs，Hymnoptera（Ants Vs. Bees）以及 Pox Vs. Non-Pox 皮肤图像等各个数据集上均取得了显著的性能，无需进行任何微调即可达到 85％，100％，77％和 79％的分类准确率。此外，细调后模型在面部照片和自闭症儿童的数据集上分别表现出了显著的改进，强调了 LLVAs 的变革潜力和在现实场景中的多样应用。

    Dec, 2023

  • MM1: 多模态 LLM 预训练的方法、分析与洞察

    讨论构建出色的多模态大型语言模型的重要组成部分和数据选择，通过仔细和全面的分析，证明了使用图像 - 标题、交错图像 - 文本和仅文本数据进行大规模多模态预训练对于在多个基准测试中实现最新成果至关重要。通过扩展所提出的模型，构建了以稠密模型和专家混合模型为特征的 MM1 系列多模态模型，这些模型在预训练指标上取得最新成果，并在一系列已建立的多模态基准测试中实现了有竞争力的性能。

    Mar, 2024