multimodal large language model | BriefGPT

关键词multimodal large language model

搜索结果 - 32

ChatIllusion: 高效对齐交错生成自适应可视化指导模型
通过 GenAdapter 将视觉表示能力集成到 ChatIllusion 中，ChatIllusion 是一种高级生成多模态大语言模型，结合了大语言模型的能力和视觉理解能力，能够为用户提供多样且高质量的图像输出，同时保持语义一致性和对话控
PDF7 months ago
医学应用的多模态 ChatGPT：GPT-4V 的实验研究
我们对最先进的多模态大型语言模型 GPT-4V 在视觉问答任务中的能力进行了关键评估，实验充分评估了 GPT-4V 在使用包括 11 种模态（如显微镜、皮肤镜、X 射线、CT 等）和十五种感兴趣的对象（如脑、肝脏、肺等）的病理学和放射学数据
PDF8 months ago
Ferret: 任意粒度引用和定位任何内容
我们介绍了 Ferret，这是一个新的多模态大型语言模型（MLLM），能够理解图像中任何形状或粒度的空间引用，并准确地确定开放词汇的描述。
PDF9 months ago
UReader：基于多模态大型语言模型的通用无 OCR 视觉智能语言理解
通过利用 Multimodal Large Language Model (MLLM) 的浅层文本识别能力，我们在较低的训练成本下，通过在广泛的视觉语境理解任务上联合微调，设计了 UReader 模型，实现了 OCR-free 模式下在 8
PDF9 months ago
ICCV面向所有人的漫画：为漫画条目生成易读的文本描述
本文旨在创建对视觉障碍人士可访问的漫画的自然语言描述，方法包括使用计算机视觉技术提取漫画图片的信息以及通过多模态大型语言模型生成描述。通过定量和定性指标测试方法的性能，实验结果令人鼓舞和有前景。
PDF9 months ago
多模型大语言模型中的灾难性遗忘研究
通过将多模态大型语言模型（MLLM）视为图像分类器，并引入 EMT（用于评估 MLLM 中的灾难性遗忘）来评估现有的 MLLM 并检测到 fine-tuning 在图像分类任务上性能下降的问题。研究发现，几乎所有评估的 MLLM 在标准图像
PDF9 months ago
IJCAIFinVis-GPT：一个用于金融图表分析的多模态大型语言模型
本文提出了一种新颖的多模式大型语言模型 FinVis-GPT，专为金融图表分析而设计。通过利用 LLM 的强大能力以及整合指令调整和多模式功能，FinVis-GPT 能够解释金融图表并提供有价值的分析。通过进行几个案例研究，我们评估了模型的
PDFa year ago
Kosmos-2：将多模态大型语言模型与世界接轨
Kosmos-2 是一种多模态大型语言模型，其新功能包括感知物体描述并将文本与视觉世界联系起来，此工作对于实现人工通用智能是关键的一步，可以通过多模态语料库和 GrIT 数据集进行众多任务的评估和训练。
PDFa year ago
MME: 多模态大语言模型综合评估基准
本文介绍了第一代 MLLM 评估基准 - MME 模型，并对 10 种先进的 MLLM 模型进行了全面评估，同时对模型优化的潜在方向进行了研究。
PDFa year ago
多模式大型语言模型综述
本文旨在追踪和总结 MLLM 的最新进展，包括 MLLM 的公式，技术和应用，以及现有的挑战和有前途的研究方向。
PDFa year ago
Youku-mPLUG: 一份 1000 万规模的中文视频语言数据集，用于预训练和基准测试
为促进 VLP 和 LLM 的发展，作者发布了 Youku-mPLUG 数据集，其中包含经过过滤的 1000 万个视频文本对，用于大规模预训练，并发布了基于该数据集预训练的模型和人类标注的中文基准，最终通过实验验证证明该数据集可以增强理解视
PDFa year ago
语言远非万能：将感知与语言模型对齐
本文介绍了 Kosmos-1，它是一个多模态大语言模型（MLLM），可以感知一般模态，可以在上下文中学习，可以零 - shot 地遵循说明，并在各种任务上取得了卓越的性能，包括语言理解、生成，多模态对话，图像字幕，视觉问答等，并证明 MLL
PDFa year ago