ICCVSep, 2023

高效图像到视频迁移学习的空间和时间解耦

PDF
TL;DRDiST 是一种双编码器结构，其中预训练的基础模型充当空间编码器，引入了轻量级网络作为时间编码器，通过插入一个集成分支来融合时空信息，从而实现了视频的空间和时间解耦学习，提高了性能表现。
pre-trained language-image modelsvideo recognitiontemporal modelingdistspatial and temporal learning
发现论文，激发创造
  • 重新审视基于 CLIP 的图像到视频知识传递的时间建模

    本论文基于 CLIP 模型，提出了一种名为 STAN 的时空建模机制，用于将图像 - 文本预训练模型扩展到视频领域，并在视频文本检索和视频识别等多项任务中展现了其优越性。

    Jan, 2023

  • 通过分离空间 - 时间建模学习视频问答的细粒度视觉理解

    该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视频 QA 中的时间关系以达到更好的视觉理解。

    Oct, 2022

  • 关于图像预训练在时空识别中的防御

    本文提出了一种将图像预训练作为时空外观先验来初始化三维卷积核的方法，并使用 Spatial-Temporal Separable 卷积对时空特征进行分解、微调。实验结果表明，该方法在不增加参数和计算的情况下，明显提高了视频识别的效果，并取得了较大的加速效果。

    May, 2022

  • CLIP2Video: 通过 Image CLIP 掌握视频文本检索

    CLIP2Video 网络通过将图像语言预训练模型转移到视频文本检索，采用端到端方式，区别于领先的视频和语言学习方法的多模态交互，我们利用预训练的图像语言模型，进一步简化为两个具体阶段的框架，使其能够在相对较少的数据集上进行训练，并通过 Temporal Difference Block 和 Temporal Alignment Block 来提升多模态相关性，我们在 MSR-VTT，MSVD 和 VATEX 等主要文本到视频和视频到文本检索基准上实现了最新的检索准确性记录。

    Jun, 2021

  • 与图像共舞：通过静态动态解缠实现视频浓缩

    通过对视频进行数据蒸馏，提出了一种方法来解决视频中的时间维度问题，该方法首先将视频转化为静态图像作为静态内存，然后使用可学习的动态内存块补偿动态和运动信息，以在不同规模的视频数据集上实现最先进的表现。

    Dec, 2023

  • 视频修复的解耦空时变形器

    提出了 Decoupled Spatial-Temporal Transformer (DSTT) 来改进视频修复效果。该方法通过分解学习空间 - 时间注意力来提高时间和空间精度，同时采用分层编码器，形成更好的空间 - 时间注意力机制。实验证明，该方法比现有的视频修复方法具有更好的效率和性能。

    Apr, 2021

  • 从视频中无监督地学习解缠表示

    DrNET 是一种用于学习从视频中生成分离图像表示的新型模型，通过利用视频的时间一致性和新型的对抗性损失函数来学习一种表示，该表示将每一帧分解为一个固定部分和一个随时间变化的成分，这种分离的表示可以用于一系列任务，例如将标准 LSTM 应用于随时间变化的成分，从而预测未来的帧。

    May, 2017

  • 文本到视频生成的层次化时空解耦

    提出了 HiGen，一种基于扩散模型的方法，通过从结构层面和内容层面解耦视频的空间和时间因素，实现了在生成视频时具备语义准确性和运动稳定性的方法。

    Dec, 2023

  • BiST: 视频对话的双向时空推理

    提出了一种基于文本提示的高分辨率视频查询的视觉 - 语言神经框架，名为 Bi-directional Spatio-Temporal Learning（BiST）。结果表明，BiST 在视频段落检索（AVSD）基准测试中取得了有竞争力的性能并产生了合理的响应。另外，在 TGIF-QA 基准测试中，BiST 模型比先前的方法表现更好。

    Oct, 2020

  • 利用掩码特征重建提炼三维物体检测的时间知识

    通过知识蒸馏，从少量的帧中获取来自教师探测器的长期记忆，以平衡鸟瞰图 3D 目标检测中的精确性和效率，并通过生成器产生用于重建学生特征的新特征。在学生模型中输入完整帧时还探索了时间关系知识。在 nuScenes 基准测试上验证了该方法的有效性，并取得了 + 1.6 mAP 和 + 1.1 NDS 的改进，压缩时间知识后大约提高了 6 FPS 的速度，并实现了最准确的速度估计。

    Jan, 2024