Sep, 2023

多模态基础模型：从专家到通用助手

PDF
TL;DR本文综述了多模基础模型的分类和演变，重点关注从专业模型到通用助手的转变。研究领域包括两个核心主题：(i) 针对特定目的预训练的多模基础模型，包括学习视觉骨干进行视觉理解和文本到图像生成的方法；(ii) 旨在充当通用助手的多模基础模型的最新进展，包括受大型语言模型启发的统一视觉模型、多模语言模型的端到端训练以及将多模工具与语言模型相结合的方法。本文面向计算机视觉和视觉语言多模社区的研究人员、研究生和专业人士，他们渴望了解多模基础模型的基础知识和最新进展。
multimodal foundation modelsvision and vision-language capabilitiesspecialist modelsgeneral-purpose assistantslarge language models
发现论文，激发创造
  • 定义视觉新时代的基础模型：调查与展望

    视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

    Jul, 2023

  • InternVL：扩展视觉基础模型并对通用视觉语言任务进行对齐

    通过设计大规模的视觉语言基础模型 (InternVL)，其参数规模扩展到 60 亿，并逐步与大型语言模型对齐，该研究旨在推动视觉与视觉语言基础模型的发展与应用，以实现视觉感知任务的最新性能、多模式对话系统的构建和与大型语言模型的链接。

    Dec, 2023

  • 通用多模态人工智能：架构、挑战与机遇综述

    多模态模型在人工智能的未来进展中被认为是一个关键组成部分，本文通过一种新的架构和训练配置特定的分类方法，从多个角度对通用多模态模型进行了综述，并提出了关键挑战和前景。

    Jun, 2024

  • 资源高效的 LLM 和多模态基础模型调查

    大型基础模型的资源挑战是一个重要问题，本调研综合分析了现有文献修复切片从模型架构到资源策略的多个方面，为理解当前方法和激发未来突破提供了全面的观点。

    Jan, 2024

  • 面向通用多模态助手的视觉语言基础模型和数据集的重新构建

    最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。MLLMs 的能力取决于两个关键因素：用于实现视觉模块和大型语言模型特征对齐的模型架构以及用于人类指令跟随的多模态指令调整数据集。本研究发现，紧凑的预训练视觉语言模型天然地可以作为视觉和语言之间 ' 开箱即用 ' 的桥梁。基于此，我们提出了 Muffin 框架，直接使用预训练的视觉语言模型作为视觉信号的提供者。此外，我们还提出了 UniMM-Chat 数据集，探索了数据集之间的补充关系，生成了 1.1M 个高质量而多样化的多模态指令。实验结果表明 Muffin 框架和 UniMM-Chat 数据集的有效性。Muffin 在广泛的视觉语言任务中实现了最先进的性能，显著超过了 LLaVA 和 InstructBLIP 等最先进模型。我们的模型和数据集均可在此链接处访问。

    Oct, 2023

  • VIP5: 面向推荐的多模态基础模型

    该研究论文提出了一种考虑视觉和文本数据的多模态基础模型，以统一不同模态的推荐任务。这一模型包括多模态个性化提示和参数高效的培训方法，使得模型在时间和存储资源方面表现更加出色。

    May, 2023

  • 探索视觉 - 语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • 自动驾驶中的基础模型调查

    该研究综述介绍了基础模型在自动驾驶中的应用，探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用，并提供了基于模态和功能对基础模型的分类，同时指出了现有模型与创新自动驾驶方法之间的差距，并提出了填补这些差距的未来研究方向和路线图。

    Feb, 2024

  • 多模态基于世界模型的通用型智能体

    通过引入多模态基础世界模型，GenRL 代理学习框架能够将基础视觉语言模型的表示与生成式世界模型的潜在空间连接和对齐，从而克服了现有基础视觉语言模型在不同领域上的问题，并在多个运动和操作领域展现了强大的多任务泛化性能。此外，通过引入无数据强化学习策略，还为通用性的综合模型基于强化学习的全能代理奠定了基础。

    Jun, 2024

  • 多模态基础模型的小样本自适应：综述

    多模态模型的少样本适应方法在医学成像等领域仍有待提高，研究者提出了基于提示、适配器和外部知识的三种技术方法，本论文对这些方法进行了综述及对比，并推导出了多模态模型少样本适应的泛化误差界限及相应解决方案。

    Jan, 2024