Dec, 2023

生成和判别视觉基础模型的统一化探索

PDF
TL;DR预训练基础模型的出现带来了计算机视觉领域的新篇章，其具有鲁棒性和显著的零样本泛化能力。本综述重点探讨了视觉基础模型在生成任务和判别任务方面的可扩展性、熟练度以及诸多方法。同时，我们整理和讨论了促进视觉基础模型开发的广泛资源，并解决了未来研究所面临的挑战。融合生成模型和判别模型是未来创新的重要方向，而将生成模型应用于判别上的初步尝试表明了这种融合的早期阶段。本综述旨在成为学者和从业者的现代汇编，勾勒视觉基础模型的发展轨迹，阐明其多方面的领域。
foundation modelscomputer visionvisual foundation modelsgenerative tasksdiscriminative tasks
发现论文，激发创造
  • 基础模型与可视化的结合：挑战与机遇

    基于基础模型和可视化的研究交叉领域，探索可视化在理解、优化和评估复杂模型中所发挥的关键作用，提供了进一步探索该有前途领域的起点，同时也指出了相关挑战与机遇。

    Oct, 2023

  • 定义视觉新时代的基础模型：调查与展望

    视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

    Jul, 2023

  • 视频理解基础模型综述

    此研究简化了近 200 种视频基础模型，对 14 个不同的视频任务进行了综合概述，并在这些任务中对 6 个最常见的任务进行了性能分析。该研究发现，图像为基础的模型在大多数视频理解任务上持续表现优异，而利用多种模式的通用基础模型在视频任务上表现卓越。

    May, 2024

  • 构建通用的语言、视觉和视觉语言理解任务的基础模型

    本文介绍了一种新的通用的基础模型 X-FM，它能够处理语言、视觉和视觉与语言的理解任务，并且在多个基准数据集上表现出比现有的通用模型更好的性能。

    Jan, 2023

  • 面向视觉 - 语言地理基础模型：一项调查

    本文全面审查了视觉 - 语言地理基础模型（VLGFMs），总结和分析了该领域的最新发展，包括 VLGFMs 的背景、动机、核心技术和应用，以及未来研究方向的洞察、问题和讨论。

    Jun, 2024

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 深入多模态多任务基础模型探索道路场景理解：从学习范式视角

    基于多模态多任务视觉理解基础模型（MM-VUFMs）的研究综述，旨在提供道路场景下 MM-VUFMs 的综合概述，包括任务特定模型、统一多模态模型、统一多任务模型和基础模型推进技术，并突出其在不同学习范式中的高级能力。

    Feb, 2024

  • 探索视觉 - 语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • 多模态基础模型：从专家到通用助手

    本文综述了多模基础模型的分类和演变，重点关注从专业模型到通用助手的转变。研究领域包括两个核心主题：(i) 针对特定目的预训练的多模基础模型，包括学习视觉骨干进行视觉理解和文本到图像生成的方法；(ii) 旨在充当通用助手的多模基础模型的最新进展，包括受大型语言模型启发的统一视觉模型、多模语言模型的端到端训练以及将多模工具与语言模型相结合的方法。本文面向计算机视觉和视觉语言多模社区的研究人员、研究生和专业人士，他们渴望了解多模基础模型的基础知识和最新进展。

    Sep, 2023

  • 图基础模型

    图基础模型（GFM）是图领域中一个新兴的研究课题，旨在发展一种能够概括不同图和任务的图模型。我们提出了一个新颖的视角 ——“图词汇表”，通过在图中编码基本可转移单元的不变性来建立图词汇表，从而解决在构建 GFM 中遇到的跨结构模式图之间正向传递的关键挑战，这一视角可以潜在地推进未来 GFM 设计遵循神经规模定律。

    Feb, 2024