large vision language models | BriefGPT

关键词large vision language models

搜索结果 - 20

MedThink：通过思考减少幻觉的诱导医学大规模视觉语言模型
通过模拟人类认知过程构建细粒度指导对，应用推理场景中的 “思路链” 概念到训练场景，提出了名为 MedThink 的方法，该方法针对医学领域显著改善了医学图像报告生成任务中模型的性能，并大幅减轻了虚构现象。
PDF17 days ago
通过双模式对抗启示破解视觉语言模型
利用 Bi-Modal Adversarial Prompt Attack 方法，通过优化文字和视觉提示共同实施监狱突破攻击，大幅提高攻击成功率。
PDFa month ago
利用图像理解的自我训练增强大型视觉语言模型
采用自我训练方法提高大型视觉语言模型在图像理解方面的能力，通过自动生成偏好图像描述来构建图像理解的偏好数据集，利用少量的现有数据进行自我改进，验证了其在七个不同基准测试中的有效性和潜力。
PDFa month ago
MetaToken: 通过元分类检测图像描述中的虚构
通过引入 MetaToken，该研究提出了一种轻量级二元分类器来在低成本下检测大规模视觉语言模型中的幻觉，揭示了之前研究中忽视的 LVLMs 幻觉的关键因素，并在四个最先进的 LVLM 上进行了评估，证明了该方法的有效性。
PDFa month ago
不忘初心：大规模视觉语言模型的关注力视觉校准
通过 Attentional Vision Calibration (AVC) 技术，针对 Large Vision Language Models (LVLMs) 中出现的盲目令牌（blind tokens）引发的视觉对象细节理解问题，通
PDFa month ago
RITUAL：随机图像变换作为 LVLM 中的通用抗幻觉杠杆
最近，大型视觉语言模型（LVLMs）的前沿发展彻底改变了机器基于视觉输入理解和生成文本响应的方式。然而，尽管这些模型的能力令人印象深刻，它们经常产生与视觉信息不符的 “幻觉性” 输出，给可靠性和可信度带来了挑战。当前的方法（如对比解码）在解
PDFa month ago
通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉
通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验
PDF2 months ago
ECOR：面向目标识别的可解释 CLIP
在本研究中，我们通过给对象识别任务中的大视觉语言模型（VLMs）提供可解释性的数理定义（基于类别和原因的联合概率分布），以一种可解释的方式对 CLIP 进行微调，从而在解释性分类方面展现了最先进的性能，尤其在零样本设置下表现出了它的适应性，
PDF2 months ago
HOI-Ref：基于主体视角的手 - 物体交互引用
我们提出了一种基于大规模视觉语言模型（VLMs）的 HOI-Ref 任务，该任务旨在使用 VLMs 理解自我中心图像中手和物体之间的交互。通过我们精心制作的 HOI-QA 数据集，我们训练了第一个用于 HOI-Ref 的 VLM，称为 VL
PDF3 months ago
利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人
利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D
PDF3 months ago
CVPRSC-Tune：解锁大型视觉语言模型中的自洽参考理解
我们介绍了 LVLM 的自一致能力和新颖的自一致调整范式 (SC-Tune)，证明了 SC-Tune 显著提升了目标级别视觉语言基准的性能，并在图像级视觉语言基准上保持了竞争力或改进的性能。
PDF3 months ago
Griffon v2: 提升高分辨率缩放和视觉语言共识的多模态感知
Griffon v2, a high-resolution generalist model, overcomes image resolution limitations in large vision language models t
PDF4 months ago
大型视觉语言模型中评估和缓解数字幻觉：一种一致性视角
通过建立数据集和使用评估指标，我们发现大规模视觉语言模型中存在数量幻觉的普遍问题，并从内部和外部一致性问题的角度进行了深入分析。我们提出了一种一致性训练方法来减轻这种幻觉，与直接微调方法相比，其平均改善了 8%。
PDF4 months ago
大型视觉语言模型的图像推理与描述的认知评估基准
通过使用具有丰富语义的图像，我们提出了一种新的评估基准，评估大规模视觉语言模型（LVLMs）的高级认知能力。该基准定义了八种推理能力，并包括图像描述任务和视觉问答任务。我们对知名的 LVLMs 进行评估发现，LVLMs 与人类之间的认知能力
PDF4 months ago
Hal-Eval: 一个用于大型视觉语言模型的通用且精细的幻觉评估框架
该研究提出了一种包括事件妄想在内的妄想细分分类方法，并利用高级视觉语言模型生成和过滤各类妄想数据，在通用评估框架中集成鉴别和生成式评估方法，从而评估大规模视觉语言模型处理妄想的能力，为评估妄想提供了可靠而全面的工具。
PDF4 months ago
ViGoR: 用细粒度的奖励建模提高大型视觉语言模型的视觉关联能力
通过细粒度的奖励建模，ViGoR 框架显著提高了大型视觉语言模型在视觉 grounding 上的效果，该方法使用较便宜的人工评估和自动化方法，有效地减少了视觉输入的不准确性问题，并构建了一个用于验证视觉 grounding 能力的全面且具有
PDF5 months ago
小型语言模型与增强式视觉词汇的相遇
在这篇论文中，我们提出了一个小型的 Vary-toy 模型，它基于 Qwen-1.8B，通过引入改进的视觉词汇表，利用物体检测驱动的积极样本数据替换自然图像的负样本，使模型具备 Vary 的所有特征，并更充分地利用词汇网络的容量，从而能够高
PDF5 months ago
Silkie：大型视觉语言模型的偏好蒸馏
本研究探讨大型视觉语言模型 (LVLMs) 的偏好提取，提高其生成有助于和忠实于视觉上下文的回应能力。通过构建视觉语言反馈 (VLFeedback) 数据集并采用 Direct Preference Optimization（DPO）方法，
PDF7 months ago
歌词：通过语义感知视觉对象增强细粒度语言视觉对齐和理解
一种新的多模式预训练和指令微调范式 Lyrics，通过细粒度的跨模态协作，将从细粒度视觉精炼器中提取的局部视觉特征注入到查询转换器中，同时，在语言输入的边界框和标签方面使用从视觉精炼器中推导出的信息，通过两阶段训练方案实现模态融合，从而在各
PDF7 months ago
大型视觉语言模型中的幻觉检测与预防
介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供
PDFa year ago