Apr, 2024

InternLM-XComposer2-4KHD: 处理从 336 像素到 4K 高清分辨率的创新大型视觉语言模型

PDF
TL;DRInternLM-XComposer2-4KHD 是一项具有里程碑意义的研究，通过引入动态分辨率和自动分片配置的新方法，将 LVLM 的分辨率能力提升到 4K HD 并在多个方面取得了卓越的性能提升。
large vision-language model (lvlm)resolution capabilitiesdynamic resolutionpatch division paradigmperformance enhancements
发现论文，激发创造
  • InternLM-XComposer：面向高级文本图像理解与构图的视觉语言大模型

    我们提出了 InternLM-XComposer，一个能够实现高级图像 - 文本理解和组合的视觉语言模型。该模型具有三个吸引人的特点：1）交错式文本 - 图像组合：InternLM-XComposer 可以轻松生成连贯且情境感强的文章，将图像无缝地融入其中，提供更具吸引力和沉浸式的阅读体验。只需提供标题，我们的系统将生成相应的手稿。它能够智能地识别文本中可以增强内容的图像区域，并自动插入最合适的视觉候选。2）基于丰富的多语言知识的理解：通过在广泛的多模态多语言概念上进行训练，并采用精心设计的策略，增强了图片 - 文本的理解能力。3）最先进的性能：我们的模型在包括 MME 基准、MMBench、MMBench-CN、Seed-Bench 和 CCBench（中国文化基准）等各种主流视觉 - 语言基础模型基准测试中始终取得最先进的结果。综上所述，InternLM-XComposer 巧妙地融合了先进的文本 - 图像理解和组合，革新了视觉 - 语言交互，并提供了新的见解和机会。InternLM-XComposer 带有 70 亿参数的模型已公开提供于此 URL。

    Sep, 2023

  • InternLM-XComposer2：掌握视觉语言大型模型中的自由文本 - 图像组合和理解

    InternLM-XComposer2 是一种先进的视觉 - 语言模型，擅长自由形式的文本 - 图像组合和理解，在从轮廓、详细的文本规范和参考图像等多样输入中巧妙地创建交错的文本 - 图像内容，实现了高度可定制的内容创作。InternLM-XComposer2 提出了 “Partial LoRA (PLoRA)” 方法，将额外的 LoRA 参数专门应用于图像标记，以保留预训练语言知识的完整性，在精确的视觉理解和具有文学才能的文本组合之间取得平衡。实验结果表明，在产生高质量的长文本多模态内容和在各种基准测试中的出色视觉 - 语言理解性能方面，InternLM-XComposer2 基于 InternLM2-7B 模型具有明显优势，不仅显著优于现有的多模态模型，而且在某些评估中甚至超过 GPT-4V 和 Gemini Pro，凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2 系列模型的参数为 7B，可公开获取。

    Jan, 2024

  • LLaVA-UHD: 一种感知任何纵横比和高分辨率图像的 LMM

    LLaVA-UHD 是一种大型多模态模型，其中包括图像模块化策略、压缩模块和空间模式，它可以高效地感知任何宽高比和高分辨率的图像，并在多个基准测试中优于其他模型。

    Mar, 2024

  • 利用大型视觉语言模型改善组合文本图像生成

    利用大型视觉语言模型来评估生成图像与输入文本之间的对齐，在此基础上，通过细调扩散模型来提升其对齐能力。实验证明，该方法显著改善了构图图像生成中的文本 - 图像对齐，特别在物体数量、属性绑定、空间关系和审美质量方面。

    Oct, 2023

  • InfiMM-HD：高分辨率多模态理解的巨大跃进

    为了解决多模态大型语言模型在处理高分辨率图像时的准确识别和理解复杂细节方面的挑战，我们提出了 InfiMM-HD，一种专门设计用于处理不同分辨率图像的创新架构，能够提高模型的视觉感知能力，同时降低计算成本。经验证明 InfiMM-HD 具有鲁棒性和高效性，为相关领域的研究提供了新的探索途径。

    Mar, 2024

  • 超高像素大型多模态模型

    高分辨率是大型多模式模型（LMMs）的基础，本论文提出了一种新的框架和优化策略，通过混合适配器从全局视图中提取上下文信息，并引入可学习的查询嵌入来减少图像标记，同时通过相似性选择器选择用户问题的关键标记，实现更好的性能表现。此外，通过交替训练的方式平衡学习全局和局部方面，并引入高要求图像细节的数据集来增强局部压缩层的训练，提出的方法在各项基准测试中表现出优异性能。

    Jun, 2024

  • GPT-4V 的进展：通过开源套件缩小与商业多模型的差距

    InternVL 1.5 是一种开源的多模态大型语言模型，通过引入强大的视觉编码器、动态高分辨率和高质量双语数据集三个简单改进，提升了多模态理解的能力，在 OCR 和中文相关任务中达到与传统型和专有模型相竞争的性能。

    Apr, 2024

  • X$^2$-VLM：图像和语言任务的多功能预训练模型

    这篇论文提出了一种名为 multi-grained vision language pre-training 的视觉语言联合预训练方法，它可以在多个粒度上学习视觉语言对齐。该论文还提出了一个名为 X$^2$-VLM 的预训练模型，它采用了模块化架构，可在图像文本任务和视频文本任务中实现最佳性能和模型规模间的良好平衡，并显示了其高可转移性，可以在任何语言或领域中使用。

    Nov, 2022

  • 利用大规模视频转录进展高分辨率视频语言表示

    本文提出了一种高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），它利用一个混合 Transformer 学习丰富的时空特征以及文本特征的交互，取得了 10 个 VL 理解任务和 2 个文本到视觉生成任务的最新结果

    Nov, 2021

  • InternVL：扩展视觉基础模型并对通用视觉语言任务进行对齐

    通过设计大规模的视觉语言基础模型 (InternVL)，其参数规模扩展到 60 亿，并逐步与大型语言模型对齐，该研究旨在推动视觉与视觉语言基础模型的发展与应用，以实现视觉感知任务的最新性能、多模式对话系统的构建和与大型语言模型的链接。

    Dec, 2023