Nov, 2023

PerceptionGPT: 将视觉感知有效融合到 LLM 中

PDF
TL;DR本文提出了一种名为 PerceptionGPT 的新型端到端框架，通过利用 LLMs 的 token 嵌入的表示能力，高效有效地赋予 VLLMs 视觉感知能力。该方法以 LLMs 的 token 嵌入作为空间信息的携带者，利用轻量级的视觉任务编码器和解码器执行视觉感知任务（如检测、分割），有效缓解了以往将视觉输出离散化为 token 的训练困难，并且能够在更少的可训练参数、较少的训练数据和较短的训练时间内实现更优越的性能。此外，由于推理过程中只需要一个 token 嵌入来解码视觉输出，结果序列长度可大幅减少。因此，该方法能够实现准确灵活的表示，无缝集成视觉感知任务，并高效处理多个视觉输出，通过广泛的实验证实了该方法的有效性和效率，结果表明，在更少的可训练参数和 GPU 时间的情况下取得了显著的改进，为未来赋予 LLMs 视觉感知能力的研究提供了便利。
发现论文，激发创造
  • 大规模预训练模型是否可帮助视觉模型完成感知任务？

    本文提出一种新的学习范式，通过利用提前训练的大型模型来增强传统视觉模型的表示能力，并在多个视觉模型中验证了该算法的有效性，可以提高图像分类等任务的准确性。

    Jun, 2023

  • MR-MLLM: 多模态理解和视觉感知的相互增强

    一个名为 Mutually Reinforced Multimodal Large Language Model (MR-MLLM) 的新框架，通过共享查询融合机制和增强的跨模态集成方法，结合视觉感知和多模态理解，以及混合了感知信息的提示生成机制，提供更准确的多模态解释，在各种多模态理解和视觉感知任务中展现卓越性能。

    Jun, 2024

  • 与 LLM 对齐：一种用于编码视觉皮层 fMRI 活动的新型多模态训练范式

    提出了一种新的多模态训练范式，用于编码视觉皮层中的 fMRI 活动。使用预训练的 LLM 和对比损失函数完成图像和文本信息的对齐，提高了视觉编码模型的性能。

    Jan, 2024

  • RegionGPT：面向区域理解的视觉语言模型

    区域语言模型 (RegionGPT) 是一种新的框架，通过改进视觉编码器的空间感知能力以及集成任务导向指令提示来实现复杂的区域级标题生成和理解，提高在复杂区域描述、推理、对象分类和引用表达理解等区域级任务上的性能。

    Mar, 2024

  • VisionGPT：通用多模态框架基于视觉 - 语言理解 Agent

    介绍 VisionGPT，通过整合和自动化最先进的基础模型，促进视觉语言理解和视觉导向人工智能的发展，具有高效性、通用性和性能表现的潜力。

    Mar, 2024

  • 分析多模态大型语言模型的视觉感知

    本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

    May, 2024

  • 大型语言模型的良好视觉分词器的特点是什么？

    通过实证研究，我们讨论了将主流的预训练方法应用于视觉编码器以构建良好的视觉分词器，以使大型语言模型（LLM）成为强大的多模态大语言模型（MLLM）。我们发现，GVT 在不引入额外的参数和任务特定的微调的情况下，展现出了在多个尺度上的强大视觉理解能力，特别是在视觉问答、图像字幕、对象计数和多类别识别等细粒度视觉理解任务上具有优异的性能。

    May, 2023

  • 融入视觉专家解决多模态大语言模型中的信息损失

    这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

    Jan, 2024

  • VCoder: 用于多模态大型语言模型的多用途视觉编码器

    人类具有视觉感知的出色技能，近期多模态大型语言模型（MLLM）在视觉与语言任务上取得了令人印象深刻的性能，但在识别或计数图像中的实体方面存在一些问题。为了改善多模态 LLM 在感知和推理方面的准确性，我们提出使用 VCoder 作为多模态 LLM 的感知工具，该工具能够通过接收分割或深度图等感知方式来提升多模态 LLM 的感知能力。此外，我们利用 COCO 图像和现成的视觉感知模型输出来创建 COST 数据集，用于训练和评估 MLLM 在对象感知任务上的表现。最后，我们提供了大量的实验证据，证明了 VCoder 在对象级感知能力上相比其他多模态 LLM（包括 GPT-4V）的改进。我们公开发布了我们的数据集、代码和模型，以促进相关研究。

    Dec, 2023

  • MiniGPT-5：基于生成 Vokens 的交叉视觉与语言生成

    分阶段训练方法和生成 vokens 提高大型语言模型在视觉和语言生成方面的效果。

    Oct, 2023