large multi-modal models | BriefGPT

关键词large multi-modal models

搜索结果 - 13

CODE：对抗大型多模态模型中的幻觉现象的自动生成描述的对比
本文介绍了一种基于对比的解码方法 CODE，它利用自生成的描述作为对比参考，以解决大型多模式模型 (LMMs) 中幻觉问题，并显著减少幻觉并提高跨模态一致性。
PDFa month ago
有选择性地回答视觉问题
近期，大型多模态模型在视觉任务中表现出前所未有的精确性，尤其对于帮助盲人或视障人士提供准确答案至关重要，而模型的校准和不确定性量化对于有选择性地回答问题或请求澄清非常重要。我们对在上下文学习的多模态模型上进行 VQA 校准方法和度量的深入分
PDFa month ago
探索大型多模型模型对于密集文本的能力
本研究通过在 DT-VQA 数据集上对 GPT4V、Gemini 和不同的开源 LMM 进行全面评估，揭示了它们的优点和缺点，并评估了 LMM 的两种策略：prompt engineering 和 downstream fine-tunin
PDF2 months ago
通过对抗性指导调节来缓解大型多模式模型的对话幻觉
本研究证明了大型多模型（LMMs) 出现幻觉的问题可以通过采用对抗式攻击的新颖敌对性问题生成器生成具有幻觉对话的数据集，并且通过对增强的多模式指令遵循数据集进行鲁棒的微调，成功地减少了对话幻觉。
PDF4 months ago
RJUA-MedDQA: 医学文件问题回答和临床推理的多模态基准测试
最近对大型语言模型 (LLMs) 和大型多模态模型 (LMMs) 的进展表明其在各种医疗应用中具有潜力，如智能医学诊断。本研究引入了综合医学专业领域的 RJUA-MedDQA 基准测试，用于全面解释各种医学报告的复杂性和专门的深入推理能力。
PDF4 months ago
大型多模态模型中的支架坐标促进视觉 - 语言协调
提出了一种 Scaffold 提示方案，通过在图像中覆盖点矩阵作为视觉信息锚点，并利用多维坐标作为文本位置参考，以促进视觉 - 语言协调，实验证明其在复杂的视觉 - 语言任务中优于 GPT-4V 与文本的 CoT 提示。
PDF4 months ago
推进大型多模型：明确的推理链与视觉问题生成
本文介绍了一种通过图像内容和文字指令进行显式推理的新方法，采用大型多模态模型（LMM），并引入了一个能够提问以获取必要知识以增强推理过程鲁棒性和可解释性的系统。实验结果表明我们的方法能够在面对模糊的视觉输入时，朝着更具鲁棒性、准确性和可解释
PDF6 months ago
FoodLMM：使用大型多模态模型的多功能食物助手
提出了一种基于 Large Multi-modal Models 的多功能食品助手 FoodLMM，包括食品识别、成分识别、食谱生成、营养估计、食品分割和多轮对话等各种能力，通过引入一系列新颖的任务特定标记和头部来预测食品营养价值和多个分割
PDF6 months ago
大型多模态模型中的上下文劫持
通过提出使用 GPT-4V 的预过滤方法，在大规模多模态模型中解决了离题的图像和文本上下文对结果的偏导问题，并进一步研究了通过 GPT-4V 和文本到图像模型替换相关上下文是否能帮助生成连贯的回答。
PDF7 months ago
LLaVA-Grounding: 大型多模态模型的基于视觉的聊天
最近在大型多模态模型（LMMs）的重要突破中，人们越来越意识到视觉聊天的基础能力。然而，尽管近期的努力使 LMMs 能够支持基础能力，但它们的聊天表现通常是独立的，并且在被要求进行基础时其聊天性能显著下降。该问题的根源在于缺乏一个用于基础视
PDF7 months ago
Omni-SMoLA：用软混合低秩专家提升通用多模态模型
使用 Omni-SMoLA 结构及 Soft MoE 方法，在大规模多模态模型上实现了性能提升，广泛应用于生成式视觉与语言任务中，达到最新的至顶性能水平。
PDF7 months ago
查询相关图像：大型多模态模型越狱
我们用一种新的视觉提示攻击方法，通过利用与查询相关的图像来越狱开源的大型多模型模型 (LMMs)。我们的研究表明，即使采用了安全对齐的大型语言模型，我们的方法也能轻松攻击 LLMs。通过使用我们提出的攻击技术，我们编制了一个大规模数据集，评
PDF7 months ago
多路适配器：为可扩展的图像 - 文本检索适应大规模多模态模型
通过引入 Multiway-Adapter 框架和 'Alignment Enhancer' 来深化多模态对齐，我们提出了一种高效的适应路径，使得大型多模态模型具备高度的可迁移性，同时实现了 57% 的微调时间缩减，并在零样本图像 - 文本
PDF10 months ago