Nov, 2023

Side4Video：用于内存高效的图像到视频迁移学习的时空边缘网络

PDF
TL;DR提出了一种名为 Side4Video 的轻量级空时支路网络，用于在视频理解中对大型图像模型进行内存高效微调，具有比之前的适配器方法减少 75% 内存使用的能力，并且在各种视频数据集上实现了卓越的性能。
vision modelsvideo understandingefficient fine-tuningmemory usagetransfer learning
发现论文，激发创造
  • 基于空间 - 时间对齐记忆的视频物体检测

    本文介绍了一种用于视频目标检测的空间 - 时间记忆网络，其核心是一种新颖的空间 - 时间记忆模块，用于模拟长期的时间外观和动态运动，并提出了一种新的 MatchTrans 模块来解决视频中的物体运动问题。作者的方法在 benchmark ImageNet VID 数据集上取得了最先进的结果，并且文章的实验表明了不同设计选择的贡献。

    Dec, 2017

  • ST-Adapter：基于转移学习的高效图像到视频参数适配器

    本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视频模型，同时又具有参数效率的优势。

    Jun, 2022

  • 高效图像到视频迁移学习的空间和时间解耦

    DiST 是一种双编码器结构，其中预训练的基础模型充当空间编码器，引入了轻量级网络作为时间编码器，通过插入一个集成分支来融合时空信息，从而实现了视频的空间和时间解耦学习，提高了性能表现。

    Sep, 2023

  • 流媒体视频模型

    提出了一种名为 “Streaming Vision Transformer” 的流式视频架构，利用具有内存功能的时间感知空间编码器产生帧级特征，供基于帧的视频任务使用；然后将帧级特征输入到与任务相关的时间解码器中，获得用于序列化任务的时空特征，该模型在行动识别任务中具有最先进的准确度，并在基于帧的多目标跟踪任务中具有竞争优势。

    Mar, 2023

  • TVTSv2：学习开箱即用的大规模时空视觉表示

    本论文分析了导致视频模型性能下降的因素 —— 语言监督失真，提出了一种去除降级的预训练策略，并采用排序任务同时使用掩蔽技术进行可扩展的训练，得到了一系列新的模型。

    May, 2023

  • 快速视频生成：用于视频合成的时空压缩

    本文提出了一种名为 Fast-Vid2Vid 的新型空间时间压缩框架，旨在减少计算资源并加速推理，通过对生成模型的数据方面进行压缩处理，使模型实现低分辨率数据流合成 / 高效中间帧插值，并在标准基准测试中实现约 20 FPS 的实时性能，同时在单个 V100 GPU 上节约约 8 倍的计算成本。

    Jul, 2022

  • 使用状态空间视频模型进行长视频片段分类

    提出了一种结合自我关注和 S4 层优点的高效长范围视频模型，具有复杂的长范围时空依赖性，比传统的全自注意模型快 2.63 倍，占用 8 倍更少的 GPU 内存，并在视频分类等任务中取得了最先进的结果。

    Apr, 2022

  • 扩展语言图像预训练模型以实现通用视频识别

    本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。

    Aug, 2022

  • 视觉变压器的分层侧调节

    通过轻量级分层侧网络（HSN）对 Visual Transformers 进行 Hierarchical Side-Tuning (HST) fine-tuning，实现了在各种下游任务中解决计算和内存需求大的问题，包括对象检测、实例分割和语义分割，取得了优于完全微调方法的性能。

    Oct, 2023

  • 重新审视基于 CLIP 的图像到视频知识传递的时间建模

    本论文基于 CLIP 模型，提出了一种名为 STAN 的时空建模机制，用于将图像 - 文本预训练模型扩展到视频领域，并在视频文本检索和视频识别等多项任务中展现了其优越性。

    Jan, 2023