multimodal llms | BriefGPT - AI 论文速递

关键词multimodal llms

搜索结果 - 29

Genixer: 赋予多模态大型语言模型强大的数据生成能力
通过创新的数据生成方法，Genixer 可以为不同任务生成高质量的多模态指令调整数据，从而改进现有的大型语言模型，在图像字幕和视觉问答等任务中取得了最先进性能，并为跨领域的创新应用提供了可能。
PDF7 months ago
CLAMP：对比式语言模型启发调节
研究论文简介：本文研究了大型语言模型在图像分类方面的应用，通过对多模态语言模型进行轻微微调，使用对比式图像 - 标题匹配目标，取得了比目前最先进的 MLLMs 提高了 13% 的图像分类性能，同时保留了语言模型的生成能力。
PDF7 months ago
PoseGPT：关于三维人体姿势的对话
PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLM
PDF7 months ago
多模态大型语言模型的细粒度音频视觉联合表示
通过提出细粒度的音视频联合表示学习框架 (FAVOR)，同时感知音频和视觉输入流中的语音、音频事件以及图像或视频，利用因果关注模块增强音视频帧之间的因果关系捕捉，在音频、语音和图像任务上取得了有竞争力的单模态性能，并在需要细粒度信息或时间因
PDF9 months ago
多模态大型语言模型在预测语言处理中体现人类式的视觉 - 语言整合的证据
大型语言模型（LLMs）的高级语言处理能力引发了关于它们是否能够复制类似人类认知过程的能力的讨论，本文通过研究多模态语言模型（mLLMs）中的视觉关注权重，发现与人类一样，mLLMs 中基于多模态输入的预测性语言处理过程也会受到视觉特征的注
PDFa year ago
基于个体特定数据的健康多模态 LLM
该研究通过开发一种名为 HeLM 的框架，使多模态大型语言模型 (LLMs) 能够使用高维临床模态来估计潜在疾病风险，并且在使用英国生物银行的数据进行验证时，HeLM 能够有效地利用人口统计学、临床特征和高维时间序列数据来估计疾病风险。
PDFa year ago
基于概念的大语言模型深度学习
本文讨论大型语言模型在概念导向深度学习方面的应用，以及利用多模态语言模型进行概念提取、图谱提取和概念学习等方面的研究。同时，本文认为，虽然 LLM 在概念导向深度学习方面的应用颇具价值，但作为人工智能聊天机器人的应用，它更具有实用价值。
PDFa year ago
医疗人工智能之路：以最低成本统一领域特定的医疗 LLMs
提出了 MedAGI 作为一个将领域特定的医学 LLM 统一起来的新兴范式，将自适应专家选择算法应用于解决由于缺少数据和保护隐私而导致的交叉培训挑战，并在皮肤科、X 光诊断和病理学图像分析领域进行了评估，结果表明 MedAGI 具有出色的通
PDFa year ago
Cheap and Quick: 大型语言模型高效的视觉语言指导调整
本研究提出了混合模态适应方法（MMA），它采用轻量级的适配器模块来搭建 LLMs 和 VL 任务之间的桥梁，实现图像和语言模型的联合优化，同时具有自适应切换单模和多模指令的功能。该方法被应用于 LaBIn 大型视觉语言指导模型，并在两种场景
PDFa year ago