Aug, 2023

PUMGPT：用于产品理解的大型视觉 - 语言模型

PDF
TL;DR通过使用多模态大型语言模型的新发展，本文着重研究产品理解任务，提出了 PUMGPT 模型和 Layer-wise Adapters 方法，以在统一的模型结构下处理多模态产品信息查询，同时具备参数高效微调的优势，应用于产品说明、分类问题回答、属性提取、关于产品的自由形式问题回答等多个产品理解任务，表现出卓越的性能。
multi-modal large language modelsproduct understanding taskpumgptlayer-wise adaptersmulti-modal product information
发现论文，激发创造
  • MiniGPT-v2：大型语言模型作为视觉语言多任务学习的统一接口

    利用 MiniGPT-v2 建立一个统一的界面，有效地处理各种视觉 - 语言任务，包括图像描述、视觉问答和视觉定位等，并通过使用唯一标识符提高模型在每个任务中的学习效率。

    Oct, 2023

  • VisionGPT：通用多模态框架基于视觉 - 语言理解 Agent

    介绍 VisionGPT，通过整合和自动化最先进的基础模型，促进视觉语言理解和视觉导向人工智能的发展，具有高效性、通用性和性能表现的潜力。

    Mar, 2024

  • RegionGPT：面向区域理解的视觉语言模型

    区域语言模型 (RegionGPT) 是一种新的框架，通过改进视觉编码器的空间感知能力以及集成任务导向指令提示来实现复杂的区域级标题生成和理解，提高在复杂区域描述、推理、对象分类和引用表达理解等区域级任务上的性能。

    Mar, 2024

  • PandaGPT：一种模型以指导全为本

    PandaGPT 是一个使用视觉和听觉指令的方法来提高大型语言模型的能力，可以同时接收多模态输入并进行自然的语言生成，它能够执行任务如生成详细的图像描述和根据视频撰写故事等，并能连接图像 / 视频中物体的外观和音频中物体的声音，从而表现出跨模态的行为。

    May, 2023

  • MiniGPT-4: 借助先进的大型语言模型增强视觉 - 语言理解

    本文介绍了 MiniGPT-4 模型，该模型利用像 GPT-4 这样的先进的大型语言模型（LLM）与视觉编码器对齐，可以生成详细的图像描述和从手写草图中创建网站等多重能力，采用对齐的图文数据集训练可以提高生成的可靠性和整体可用性。

    Apr, 2023

  • PerceptionGPT: 将视觉感知有效融合到 LLM 中

    本文提出了一种名为 PerceptionGPT 的新型端到端框架，通过利用 LLMs 的 token 嵌入的表示能力，高效有效地赋予 VLLMs 视觉感知能力。该方法以 LLMs 的 token 嵌入作为空间信息的携带者，利用轻量级的视觉任务编码器和解码器执行视觉感知任务（如检测、分割），有效缓解了以往将视觉输出离散化为 token 的训练困难，并且能够在更少的可训练参数、较少的训练数据和较短的训练时间内实现更优越的性能。此外，由于推理过程中只需要一个 token 嵌入来解码视觉输出，结果序列长度可大幅减少。因此，该方法能够实现准确灵活的表示，无缝集成视觉感知任务，并高效处理多个视觉输出，通过广泛的实验证实了该方法的有效性和效率，结果表明，在更少的可训练参数和 GPU 时间的情况下取得了显著的改进，为未来赋予 LLMs 视觉感知能力的研究提供了便利。

    Nov, 2023

  • SurgicalGPT: 外科视觉问答的端到端语言 - 视觉生成预训练模型

    本文介绍了一种可伸缩的 Language-Vision GPT（LV-GPT）模型，它将 GPT2 模型扩展到包括视觉输入（图像），以改进机器人手术中的视觉问题回答（VQA）任务，该模型在内窥镜视觉挑战机器人场景分割 2018、CholecTriplet2021 和全面外科场景数据集等三个公开数据集上的表现优于其他现有的 VQA 模型。

    Apr, 2023

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • ShapeGPT：统一多模态语言模型用于 3D 形状生成

    ShapeGPT 是一个包含形状的多模态框架，利用强大的预训练语言模型解决多个与形状相关的任务，包括文本到形状的转换和形状编辑。

    Nov, 2023

  • LMMs 初探：与 GPT-4V (ision) 的初步探索

    通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

    Sep, 2023