large multimodal models | BriefGPT

关键词large multimodal models

搜索结果 - 71

AAAI基于 LMM 的知识在图像分类任务中的利用
使用 Large Multimodal Models 中的 MiniGPT-4 模型，结合图像编码器和文本编码器提取语义描述，以提高图像分类任务的性能。
PDFa month ago
大型多模态模型在医学视觉问答中的令人尴尬的简单探测评估：比随机还差？
通过探测性评估和程序诊断，严格评估了 LMM 在医学影像学中的性能，揭示了目前顶尖模型在医学诊断问题上的表现不如随机猜测，并强调了对 LMM 在医学诊断等关键领域的可靠性进行更为健壮的评估的紧迫需求。
PDFa month ago
通过教授大型多模态模型进行自适应图像质量评估
通过 Compare2Score 模型，我们成功地将文本定义的比较级别与转换后的单个图像质量得分进行了有效的联系，不仅在训练过程中有效地使用了丰富的图像质量评估数据集，而且在推理过程中通过概率矩阵自适应地转换了离线图像到连续质量得分的比较级
PDFa month ago
母子嵌套多模型
M3: Matryoshka Multimodal Models propose nested visual tokens to control visual granularity, offering flexibility in tra
PDFa month ago
人因工程的新时代：大型多模态模型的应用与前景调查
该研究通过专家 - 大型多模态模型文献综述，探讨大型多模态模型在人类因素和人体工程学领域的应用、挑战和未来前景，并介绍了基于大型多模态模型的事故分析、人体建模和干预设计的研究，以及人类因素和人体工程学研究在大型多模态模型时代的未来趋势和挑战
PDFa month ago
SciFIBench：科学图表解读大型多模态模型基准测试
SciFIBench 是一个科学图表解释的基准测试，评估了 26 个大型多模态模型在理解和解释图表方面的能力，并探究了模型在拓展问题集上的对齐和推理准确性。
PDF2 months ago
ICMLVisionGraph：在视觉环境下利用大型多模态模型解决图论问题
大型多模态模型（LMMs）在视觉理解和推理方面取得了令人瞩目的成功，显著提高了数学推理在视觉环境中的性能。然而，多模态图理论问题是一类具有挑战性的视觉数学问题，要求 LMMs 准确理解图形结构并在视觉图上进行多步推理。我们首次设计了一个名为
PDF2 months ago
CofiPara：一种用于大规模多模态模型的粗糙 - 精细范式的多模态讽刺目标识别方法
本文提出了一个多模态讽刺目标识别框架，采用从粗到细的方法，通过推理和预训练知识增强讽刺可解释性，在多模态讽刺中揭示复杂目标并减轻大型多模态模型潜在噪声的负面影响。实验结果表明，我们的模型在 MSTI 方法上表现出色，并在识别讽刺方面具有解释
PDF2 months ago
简化多模态：使用通用领域大型语言模型在放射学中解决多模态挑战的单模态方法
在本文中，我们介绍了 MID-M 这一创新框架，利用通用领域的大规模语言模型（LLM）的上下文学习能力，通过图像描述来处理多模态数据，其在性能上与任务特定的精调 LLMs 和其他通用领域的 LLMs 相当或更为出色，无需广泛域特定训练或多模
PDF2 months ago
LEGENT: 落地式代理人开放平台
通过使用 LEGENT 生成的数据，我们训练的视觉 - 语言 - 动作模型在具体任务中超越了 GPT-4V，展示了令人期待的泛化能力。
PDF2 months ago
FakeBench：用大型多模型揭示伪造图片的致命弱点
利用人工智能技术生成的虚假图像与真实图像已经变得难以区分，对于虚假图像检测模型带来了新的挑战。为此，我们提出了 FakeBench，这是首个透明的虚假图像检测基准，包括带有人类语言描述的伪造迹象的虚假图像。我们构建了包括 6k 个多样化来源
PDF2 months ago
TextCoT: 提升多模态文本丰富图像理解的局部放大
提出了一种名为 TextCoT 的 Chain-of-Thought 框架，用于理解富文本图像，利用 LMMs 的字幕能力来把握图像的全局背景和细节地区，从而提供准确的问题回答，方法经过了广泛实验验证了其有效性和强大的普适能力。
PDF3 months ago
利用 GPT-4V (ision) 进行保险业的初步探索
通过对 GPT-4V 在保险领域的能力进行探索，我们发现它在保险相关任务中展现出了出色的能力，不仅全面理解了保险领域中的多模态内容，还具备丰富的保险场景知识。然而，它在详细风险评估和损失评估方面存在明显不足，并在图像理解中出现了幻觉，并对不
PDF3 months ago
TraveLER: 一个视频问答的多 LMM 代理框架
通过使用大型多模态模型（LMMs）以逐帧方式利用大规模基于图像的预训练来处理视频问答，我们设计了一个多 LMM 代理框架，通过交互性问题提问、收集关键帧的相关信息，并在需要回答问题时创建计划以遍历视频，以及根据收集的知识进行重新规划，从而在
PDF3 months ago
评估基于生成式的大型多模态模型与基于微调的视觉转换器在基于图像的安全应用中的功效
研究了用于解决关键安全挑战的提示引擎 Gemini-pro 多模态模型和精调 ViT 模型的适用性和效果，发现 Gemini-pro 在准确性和可靠性方面存在明显差异，而精调的 ViT 模型在两个任务上表现出色，达到近乎完美的性能。
PDF3 months ago
LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少
通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。
PDF3 months ago
大型多模态模型中减轻幻觉效应的反事实植入
使用反事实关键词和双模式验证过程，该论文提出了一种增强大型多模态模型在处理错误回应和无关回应时的可靠性的方法，以减轻幻觉现象并提高模型的可信度。
PDF3 months ago
VisualCritic：使线性混合模型像人类一样感知视觉质量
探索大型多模态模型在视觉质量评估方面的能力并提出了第一个用于广谱图像主观质量评估的 LMM，VisualCritic。
PDF3 months ago
X-LLaVA: 优化双语大型视觉语言对齐
我们提出了两种解决多模态模型创建训练数据方面的问题的有效方法，并基于这些方法构建了一个 91K 的英 - 韩 - 中多语言多模态训练数据集，并开发了一种双语多模态模型，在韩语和英语方面表现出优秀的性能，超过了现有方法。
PDF4 months ago
导航幻觉用于非故意活动的推理
我们提出了理解视频中无意识人类活动的新任务，并将此问题形式化为零样本情况下的推理任务，我们通过评估当前最先进的大型多模型在这个推理任务上的效果发现它们存在幻觉问题，因此我们提出了一种名为 Dream of Thoughts（DoT）的新型提
PDF4 months ago