这篇论文介绍了 AIM，一种根据自回归目标预训练的视觉模型集合。这些模型受到了文本模型的启发，并展现了类似的规模扩展性。重点提到两个关键发现：（1）视觉特征的性能随模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。通过预先训练一架 70 亿参数、使用 20 亿图像的 AIM，在 ImageNet-1k 上使用冻结的主干获得了 84.0% 的准确率。有趣的是，即使在这样的规模下，我们观察不到性能饱和的迹象，这表明 AIM 可能代表了训练大规模视觉模型的一个新的前沿。AIM 的预训练类似于 LLM 的预训练，并不需要任何图像特定的策略来稳定规模化训练。

Jan, 2024

本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视频模型，同时又具有参数效率的优势。

Jun, 2022

提出了一种零成本适应范式（ZeroI2V）来将图像变换器应用于视频识别任务，实现图像到视频的快速转换和零额外计算成本。通过引入空间 - 时间双头注意力（STDHA）和轻量级线性适配器的线性适应策略，实现了对视频动态性和图像与视频之间的领域差异的处理，达到与先前最先进的方法相当甚至超过的参数和推理效率。

Oct, 2023

提出了一种叫做 “AdaptFormer” 的方法，可将预训练的视觉 Transformer 模型快速适应于多个图像和视频识别任务中，在不更新原预训练参数的情况下，只增加不到 2％的额外参数，就能显著提高模型的可迁移性和表现

May, 2022

本文提出了一种名为 MA-CLIP 的新方法，旨在通过添加轻量级适配器来适应 CLIP 进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。

Aug, 2023

大规模视觉语言预训练模型在各种视频任务中取得了显著的成功。本文提出了一种新的 “事前对齐，然后自适应”（ALT）范例，通过对每帧进行实体到区域的对齐来解决从静态图像到复杂活动概念的映射挑战，并使用 VLP 的视觉 - 语言对齐进行自适应，以帮助理解行为和复杂活动语义之间的差距。

Nov, 2023

设计了一种适应预训练的 ViT 模型作为统一的长视频 Transformer 的新机制，以捕捉不同片段间的精细关系，并保持较低的计算开销和内存消耗，实现高效的时间动作检测。

Dec, 2023

本文提出了一种新的 DualPath 适应性算法，将图像 transformers 的表示能力有效地转移至视频理解中，包括空间和时间建模，极大地拓展了预训练表示的泛化，同时在四个动作识别基准测试上进行了广泛实验比较。

Mar, 2023

本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

Mar, 2022

通过引入 Tem-Adapter，结合视觉时间对齐器和文本语义对齐器，利用图像预训练的知识来弥合图像和视频领域之间的差距，以实现学习时间动力学和复杂语义的目的，并通过两个 VideoQA 基准测试验证了该方法的有效性。

Aug, 2023