multimodal capabilities | BriefGPT

关键词multimodal capabilities

搜索结果 - 9

利用 LLaVA 提示和负面提示提升图像生成
通过利用大型语言与视觉助手（LLaVA）的多模态能力，本文提出了一种增强图像 - 图像生成的新方法。LLaVA 分析输入图像并生成文本描述，即 LLaVA 生成的提示。这些提示与原始图像一起输入到图像 - 图像生成流程中，丰富的表示指导生成
PDFa month ago
用于图指导调优的联合嵌入
该论文研究了将图模态集成到大型语言模型中，以提升其在图解指令任务中的性能表现，并通过图嵌入训练模型，使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法，并且对于较大的图结构保持一致。
PDFa month ago
训练小型多模态模型以弥合生物医学能力差距：放射学成像的案例研究
利用模块化方法针对医学领域使用开源小型多模态模型来解决大规模基础模型在临床需求中存在的问题，并在放射学成像中展示了 LLaVA-Rad 模型的最新结果和其在报告生成和跨模态检索中的性能优势，成为真实世界临床应用的前景工具。
PDF4 months ago
AAAIKAM-CoT：知识增强的多模式思维链推理
通过整合 CoT 推理、知识图谱和多模态的综合理解，KAM-CoT 提出了一种在多模态任务中应对挑战并提高性能的框架，以更深层次的上下文理解降低幻觉并增强答案质量。
PDF5 months ago
多模态语言模型的性能评估
该研究分析了不同的多模态指导调优方法，并评估了它们在复杂推理、对话、图像字幕、多项选择题和二元分类等任务中的性能，揭示了在将多模态能力融入大型语言模型时的架构选择的关键见解，但当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求
PDF9 months ago
Tiny LVLM-eHub: 与 Bard 的早期多模态实验
本文通过提出轻量级的 LVLM-eHub 变体 Tiny LVLM-eHub，对 LVLMs 的多模态能力进行了早期和全面评估，特别关注了 Bard，通过定量评估 42 个标准文本相关视觉基准的视觉感知、视觉知识获取、视觉推理、视觉常识、物
PDFa year ago
LVLM-eHub：面向大型视觉语言模型的全面评估基准
本文介绍了一个 LVLM-eHub 综合评估平台，使用 6 种多模态能力定量评估 47 个标准文本相关视觉基准，并利用在线平台提供用户级评估。结果显示，采用多轮推理评估框架可以缓解对象幻觉问题，为开发有效的 LVLM 评估流水线提供了启示。
PDFa year ago
通过将多模态视为外语来引导先进的大型语言模型
本文提出了一种名为 X-LLM 的多模态语言模型，它将多种形式的信息转化为语言输入到 ChatGLM 中进行处理，实现了语言模型的多模态能力，具有与 GPT-4 相当的人工智能水平，同时还能用于语音识别和多模态语音识别。
PDFa year ago
Socratic 模型：用语言组成零样本多模态推理
本文提出了 Socratic Models（SM）框架，该框架可用于将多个大型预训练模型组合为一体，以实现对多模式数据的交换和新的多模式应用成果。
PDF2 years ago