mllms | BriefGPT - AI 论文速递

关键词mllms

搜索结果 - 28

Plot2Code：用于评估科学图形代码生成的多模态大型语言模型的综合基准
通过 Plot2Code 对大规模多模式语言模型的视觉编码进行全面评估，揭示了现有的大多数多模式语言模型在文字密集图中的视觉编码方面存在的困难，重度依赖于文本指导，希望评估结果能指导未来多模式语言模型的发展。
PDF7 days ago
评估基于任务的多语言语言模型对图表的有效性
我们研究了 GPT-4V 在图表的低级数据分析任务中的有效性，并通过实验结果发现其潜力和局限性，同时提出了一种名为 “Chain-of-Charts” 的新颖文本提示策略，能够提高模型性能并揭示人类分析需求与 GPT-4V 能力之间的差距。
PDF9 days ago
探究多模态 LLMs 作为驾驶世界模型
我们评估了多模态大型语言模型（MLLMs）在自动驾驶领域的应用，并挑战和验证了一些常见假设，重点关注它们在封闭环控制环境下通过图像 / 帧序列来推理和解释动态行驶情景的能力。我们的研究揭示了这些模型在预测复杂、动态的驾驶环境中存在的不足，对
PDF11 days ago
MileBench: 在长上下文中评测多语言大型语言模型
该研究旨在通过引入 MileBench 基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源 MLLMs 在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。
PDF21 days ago
SEED-Bench-2-Plus：基于多模态大型语言模型的文本丰富视觉理解基准测试
我们介绍了 SEED-Bench-2-Plus，这是一个专门设计用于评估 MLLMs 的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前 MLLMs 在文本丰
PDF25 days ago
眼见不一定全是实情：多模态大语言模型因果推理能力的基准测试
基于现有多模态大型语言模型 (MLLMs) 在视觉问答评测方面的认知和推理能力，我们提出了一个新的 CFMM（Counterfactual MultiModal）基准测试，以系统评估 MLLMs 的反事实推理能力，发现现有 MLLMs 往往
PDFa month ago
Ferret-UI: 基于多模态 LLMS 的移动 UI 理解
Ferret-UI 是一种专门用于增强对移动用户界面（UI）屏幕理解的多模态大型语言模型（MLLM），它具备指代、基础和推理能力，并在学习样本、编码和任务执行方面表现出色。
PDFa month ago
JailBreakV-28K: 评估多模态大语言模型抵抗破解攻击的基准测试
本文研究了对抗大型多模态语言模型（MLLMs）的问题，通过引入 JailBreakV-28K 评估 LLM 越狱技术对 MLLM 的可迁移性，并评估了 MLLM 对多样越狱攻击的鲁棒性，结果表明 MLLM 存在来自文本处理功能的关键脆弱性，
PDF2 months ago
VIAssist：为视觉障碍用户适应多模态大型语言模型
本研究探讨如何利用多模态大型语言模型（MLLMs）帮助视觉障碍（VI）人士提供视觉问题的答案，并介绍了 VIAssist，一种能够识别不受欢迎图像并提供详细操作建议，并基于这些图像提供可靠答案给用户的方法。实验结果表明，VIAssist 相
PDF2 months ago
多语言大型语言模型综述：语料库、对齐和偏差调查
该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨 MLLMs 的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。
PDF2 months ago
MathVerse: 您的多模式 LLM 真正看到视觉数学问题中的图表吗？
通过引入 MathVerse 基准测试，我们深入评估多模态大型语言模型（MLLMs）在解决视觉数学问题方面的能力，并提出了链式思维（CoT）评估策略以评估输出答案的细微推理步骤，以期为 MLLMs 的未来发展提供独特的见解。
PDF2 months ago
HyperLLaVA：基于动态视觉和语言专家调整的多模态大型语言模型
通过使用 HyperLLaVA 和 HyperNetworks，我们在多模态大型语言模型方面取得了巨大的进展，并在多个基准测试中显著超越了现有的解决方案。
PDF2 months ago
AdaShield: 通过自适应护盾提示保护多模态大语言模型免受基于结构的攻击
提出了一种名为 AdaShield 的方法，通过在输入前添加防御提示来防御结构性越狱攻击，无需对 MLLMs 进行微调或训练额外的模块，并通过广泛实验证明了该方法可以提高 MLLMs 对结构性越狱攻击的鲁棒性。
PDF2 months ago
Med3DInsight：利用 2D 多模态大型语言模型增强 3D 医学图像理解
通过结合现有的 3D 图像编码器和 2D MLLMs，并通过设计的 Plane-Slice-Aware Transformer（PSAT）模块，提出了一种名为 Med3DInsight 的新颖预训练框架，用于增强对 3D 医学图像的理解。实
PDF2 months ago
令人惊讶的失败？多模态 LLMs 与 NLVR 挑战
本研究评估了三种最先进的 MLLM 模型：GPT-4V，Gemini Pro 和开源模型 IDEFICS，在组合自然语言视觉推理任务 NLVR 上的表现。尽管这些模型表现出很强的性能，但我们观察到它们在 NLVR 上表现不佳，该任务要求组合
PDF3 months ago
CODIS：面向多模态大型语言模型的上下文相关视觉理解基准测试
多模态大语言模型 (MLLMs) 在结合视觉和语言的各种任务中展现了有前景的结果。本研究引入了一个被命名为 CODIS 的新基准，旨在评估模型利用自由文本中提供的上下文来增强视觉理解能力。我们的研究结果显示 MLLMs 在该基准上始终无法达
PDF3 months ago
多模态大语言模型的模型组合
在该篇论文中，研究人员介绍了一种新的范例通过现有 MLLMs 的模型组合来创建一个新模型，该模型保留了每个原始模型的模态理解能力。通过实验证明，模型组合可以创建一个多功能模型，能够处理来自多种模态的输入数据。
PDF3 months ago
MLLM 作为评判者：以视觉 - 语言基准评估多模态 MLLM
通过引入一种新的基准测试，MLLMs 作为评判者，本研究揭示了 MLLMs 在评估任务中的能力，并发现 MLLMs 在对人员喜好的评估和排名任务中存在显著差异，同时面临着多样的偏见、幻觉反应和不一致问题，强调了对 MLLMs 进一步改进和研
PDF3 months ago
多模态大型语言模型的统一幻觉检测
多模态大语言模型（MLLMs）在全方位任务中取得了显著进展，但幻觉问题成为其关键问题之一。我们的研究扩展了对幻觉检测的调查范围，并提出了一个新颖的元评估基准（MHaluBench），以促进幻觉检测方法的发展。我们还推出了一个新颖的统一多模态
PDF3 months ago
LLMRA: 多模态大型语言模型恢复助手
我们提出了一种基于多模态大语言模型（MLLM）的图像修复框架，名为多模态大语言模型修复助理（LLMRA），通过利用 MLLM 的印象能力来获取通用图像修复的降级信息，并通过 Context Enhance 模块和 Degradation C
PDF4 months ago