基于多模态多任务视觉理解基础模型（MM-VUFMs）的研究综述，旨在提供道路场景下 MM-VUFMs 的综合概述，包括任务特定模型、统一多模态模型、统一多任务模型和基础模型推进技术，并突出其在不同学习范式中的高级能力。

Feb, 2024

通过使用三种典型任务、八个备受社区欢迎的数据集和四种适配方法评估现有基础模型在视频理解方面的能力，并提出了一种衡量基础模型在适应一般视频理解任务时的有效性和效率的 VideoGLUE 分数 (VGS)。研究发现，与自然语言和图像理解中的基础模型成就形成鲜明对比，专门任务模型在本文所研究的六个基础模型中表现出显著的优势；包含视频模态的本机视频基础模型在分类富有动态的视频、时间定位动作和理解多个动作的视频方面通常表现更好；本机视频基础模型在轻微适配下（如冻结 FM 骨干）可以在视频任务上表现良好，而图像本机基础模型则在全面端到端的微调中胜出。前两项观察结果揭示了在视频基础模型方面进行研究的需求和巨大机遇，最后一项结果确认了在评估基础模型时任务和适配方法均起到重要作用。

Jul, 2023

我们介绍 InternVideo2，这是一种新的视频基础模型（ViFM），在动作识别、视频文本任务和以视频为中心的对话中实现了最先进的性能。我们的方法采用渐进训练范式，统一了掩码视频令牌重建、跨模态对比学习和下一个令牌预测的不同自我或弱监督学习框架。不同的训练阶段通过不同的预训练任务引导我们的模型捕捉不同层次的结构和语义信息。在数据层面上，我们通过对视频进行语义分割和生成视频 - 音频 - 语音字幕来优先考虑时空一致性，从而提高了视频和文本之间的对齐性。我们为 InternVideo2 扩展了数据和模型规模。通过广泛的实验证明了我们的设计，并展示了在 60 多个视频和音频任务上的最先进性能。值得注意的是，我们的模型在各种与视频有关的字幕、对话和长期视频理解基准上优于其他模型，凸显了它在推理和理解长时间上下文方面的能力。代码和模型可在此 URL 获取。

Mar, 2024

预训练基础模型的出现带来了计算机视觉领域的新篇章，其具有鲁棒性和显著的零样本泛化能力。本综述重点探讨了视觉基础模型在生成任务和判别任务方面的可扩展性、熟练度以及诸多方法。同时，我们整理和讨论了促进视觉基础模型开发的广泛资源，并解决了未来研究所面临的挑战。融合生成模型和判别模型是未来创新的重要方向，而将生成模型应用于判别上的初步尝试表明了这种融合的早期阶段。本综述旨在成为学者和从业者的现代汇编，勾勒视觉基础模型的发展轨迹，阐明其多方面的领域。

Dec, 2023

本文介绍了一种新的通用的基础模型 X-FM，它能够处理语言、视觉和视觉与语言的理解任务，并且在多个基准数据集上表现出比现有的通用模型更好的性能。

Jan, 2023

视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

Jul, 2023

利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目标任务上的性能优于面向任务无关的 VFM 蒸馏、Web 规模 CLIP 预训练和监督式 ImageNet 预训练，分别提升了 1-10.5%、2-22% 和 2-14%。研究还指出了用于知识迁移的数据集对最终目标任务性能的显著影响，并提出了基于图像检索的方法来筛选有效的迁移集。

Nov, 2023

基于基础模型和可视化的研究交叉领域，探索可视化在理解、优化和评估复杂模型中所发挥的关键作用，提供了进一步探索该有前途领域的起点，同时也指出了相关挑战与机遇。

Oct, 2023

本文全面审查了视觉 - 语言地理基础模型（VLGFMs），总结和分析了该领域的最新发展，包括 VLGFMs 的背景、动机、核心技术和应用，以及未来研究方向的洞察、问题和讨论。

Jun, 2024

本文提出了一种基于轨迹为中心的多模态视频理解原型系统，使用各种视频基础模型（ViFMs）注释其特性，存储在数据库中，并通过数据库管理器与用户交互，以解决各种视频相关问题。

Apr, 2023