large vision-language models | BriefGPT

关键词large vision-language models

搜索结果 - 112

STLLaVA-Med：医学领域的自我训练大型语言与视觉助理
通过引入自我训练的大型语言和视觉助手 (STLLaVA-Med)，使用 LVLM 和直接优化原则 (DPO) 自动产生医学视觉指导数据，以提高数据效率，并且证实了在使用只有 9% 的医学数据的情况下，STLLaVA-Med 在三个主要的医学
PDF4 days ago
大规模视觉语言模型中的混合专家中的令牌梯度冲突解决
使用基于令牌级梯度分析的新方法，该文章旨在解决大型视觉语言模型中令牌优化冲突的问题，并通过消除专家内部的令牌冲突来提高性能。
PDF4 days ago
重访大型视觉语言模型的后门攻击
使用指令调优增强大规模视觉语言模型 (LVLMs) 会提高安全风险，因其开放性可能导致后门攻击。本研究首次经验性地考察了指令调优 LVLMs 期间后门攻击的普适性，揭示了在实际场景中大多数后门策略的某些限制。通过定量评估对视觉和文本领域存在
PDF5 days ago
CELLO: 大型视觉 - 语言模型的因果评估
通过细致而统一的因果关系定义以及涉及人类与 / 或物体之间相互作用的显式因果图，本论文构建了一个名为 CELLO 的新数据集，并表明当前的大规模视觉语言模型在因果推理任务上依然面临困难，但可以从提出的因果启发式思维提示策略 CELLO-Co
PDF5 days ago
Dysca: LVLMs 感知能力评估的动态可扩展基准
通过利用合成图像，我们提出了一个动态可扩展的基准测试 Dysca，评估大规模视觉语言模型的感知能力，并在多种图像风格和场景条件下进行了评估。
PDF5 days ago
评估大型视觉语言模型在多样性人口属性和提示上的公平性
对大规模视觉 - 语言模型进行可视化公正性实证调查，揭示出现开源和闭源模型在不同指引和人口属性下存在普遍的公正性问题。
PDF7 days ago
评估用于大型视觉语言模型的幻觉基准的质量
大规模视觉语言模型（LVLMs）的幻觉问题是当前研究的主要关注领域，本研究提出了一种用于评估幻觉质量的基准测量框架（HQM），通过可靠性和有效性的指标对现有幻觉基准进行评估，并构建了一种高质量的 LVLMs 幻觉基准（HQH）。研究在多个代
PDF8 days ago
ICML评估和分析 LVLM 中的关系幻觉
通过引入 R-Bench 评估 Vision Relationship Hallucination，在大型视觉语言模型中探讨幻觉问题，尤其关注对象关系中的幻觉，包括关系 - 关系、主体 - 关系和关系 - 对象三种关系共现形成的幻觉，以及视
PDF8 days ago
VLBiasBench：大型视觉语言模型偏见评估综合基准测评
通过引入 VLBiasBench 数据集和进行广泛的评估，我们对大型视觉语言模型中的偏见进行了全面研究，并揭示了一些新的见解。
PDF12 days ago
MACAROON: 训练视觉 - 语言模型成为您亲密的合作伙伴
本研究旨在将大型视觉语言模型从被动回答提供者转变为主动参与伙伴，通过建立问题的层次结构以及引入自主生成对比响应对，提高模型在主动参与方面的能力以及在一般任务上的表现。
PDF12 days ago
MMBench-Video：一种用于整体视频理解的长形多镜头基准
通过引入 MMBench-Video 来评估大规模视觉语言模型在视频理解方面的表现，该评估基准充分考虑视频内容，并充分评估模型的时间理解能力，从而为改进大规模视觉语言模型的评估提供了有价值的资源，促进了视频理解领域的进展。
PDF12 days ago
目标引导是否真能减少大型视觉语言模型的幻觉？
在 LVLM 的开放式字幕生成中，细粒度对象定位目标对对象形象幻觉的效果很小或没有效果。
PDF12 days ago
VGA: 视觉 GUI 助手 -- 通过图像中心的微调减少幻觉
我们提出了一种名为 VGA 的细调模型，旨在提升对图形用户界面（GUI）的理解能力，减少幻觉和错误响应。我们构建了一个 63.8k 高质量示例的 Vision Question Answering（VQA）数据集，并设计了一种名为 Foun
PDF12 days ago
非洲还是欧洲的燕子？针对细粒度物体分类的大型视觉语言模型基准测试
最近大型视觉 - 语言模型（LVLMs）在诸多图像理解和推理任务上表现出令人印象深刻的能力。然而，细粒度对象分类任务（例如，区分动物物种）的研究尚不足够，在下游任务中的重要性不够凸显。我们通过创建一个名为 FOCI（Fine-grained
PDF12 days ago
AGLA：借助全局和局部注意力组合，缓解大型视觉语言模型中的物体幻觉
通过研究大型视觉语言模型（LVLMs），本论文确定了对象幻觉的一个根本原因是对辨别性局部图像特征的注意力不足。基于此，我们提出了全局和局部注意力组装（AGLA）方法，该方法通过同时探索用于响应生成的全局特征和用于视觉辨别的局部特征，从而减轻
PDF14 days ago
MMDU：多轮多图像对话理解基准及用于 LVLM 的指令调优数据集
生成自然且有意义的回复以与多模态人类输入进行交流是大型视觉语言模型（LVLMs）的基本能力。我们引入 MMDU 作为一个综合基准以及 MMDU-45k 作为一个大规模的指导调整数据集，旨在评估和提高 LVLMs 在多轮和多图像对话中的能力。
PDF15 days ago
MFC-Bench: 基于大型视觉 - 语言模型的多模态事实核查基准测试
通过评估 MFC-Bench 对 12 个各异而代表性的大型视觉 - 语言模型进行了基准测试，发现当前模型在多模态事实核查方面仍存在不足，并对各种形式的操纵内容表现出麻木，希望通过 MFC-Bench 能够引起对未来可能由大型视觉 - 语言
PDF15 days ago
AUTOHALLUSION：视觉语言模型的自动生成幻觉基准
大型视觉 - 语言模型存在幻觉问题，该研究开发了自动生成幻觉的基准测试方法 AUTOHALLUSION，通过识别上下文线索并以此生成图像和问题，揭示了幻觉的常见失败模式和原因。对顶级视觉 - 语言模型进行综合评估发现，在 AUTOHALLU
PDF16 days ago
基于概念技能可转移性的数据选择方法用于大规模视觉语言模型
通过使用小模型作为参考模型，COINCIDE 是一种有效且可伸缩的数据选择技术，可用于选择用于目标 LVLM 的高效微调的视觉指令数据，重点关注多样性和可转移性。
PDF16 days ago
构建中国文化的镜头：用于理解中国谐音绘画艺术的多模态数据集
通过发布《谜语艺术数据集》，本文旨在促进大型视觉 - 语言模型（VLM）的发展，以更好地理解和解释具有文化特定内容的艺术，特别是扎根于中国传统文化的艺术。
PDF18 days ago