ICCVAug, 2023

通过语义感知的时间累积修剪时空令牌

PDF
TL;DR为了优化速度和准确度的平衡，我们提出了基于语义感知的时间积累评分（STA）来整体修剪时空令牌。利用 STA 评分，我们能够逐步修剪令牌而不引入额外的参数或需要进一步的再训练。在 Kinetics-400 和 Something-Something V2 上的实证结果表明，使用 STA 模块在 ViT 和 VideoSwin 骨干网络上能够实现超过 30％的计算减少，而准确度下降仅为可忽略的 0.2％。
transformersvideo recognitionspeed-accuracy trade-offsemantic-aware temporal accumulationcomputation reduction
发现论文，激发创造
  • 空间 - 时间令牌选择的有效视频 Transformer

    本文提出了 STTS 框架，这是一种动态选择少量视频关键信息的方法，可以在减小计算量的同时保持较高的识别准确率。

    Nov, 2021

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • 基于时空注意力的实时视频识别语义压缩

    本文研究边缘计算中视频动作识别的计算卸载。为了实现有效的语义信息提取，本文提出了一种新的空时注意力自编码器（STAE）结构，包括帧注意力模块和空间注意力模块。实验证明，在时间约束下，与 DeepISC 的基准模型相比，基于 STAE 的 ViT 模型具有更快的推理速度和更高的准确性。

    May, 2023

  • TESTA: 长篇视频 - 语言理解的时间空间令牌聚合

    通过引入一种高效的方法 TESTA，我们提出了一个预训练视频语言模型，该模型在每个视频编码器块中配备了一个分割的时空令牌聚合模块，从而减少了可视令牌数量并提高了计算效率。

    Oct, 2023

  • SVT: 超级令牌视频变形器用于高效视频理解

    本文提出了一种超词汇视频变形器（SVT），其中包含语义池模块（SPM），该模块根据它们的语义沿着视觉变换器的深度聚合潜在表示，并因此减少了视频输入中固有的冗余；方法在 Kinectics-400 和 Something-Something-V2 数据集上得到了验证，并提高了 MAE 预训练 ViT-B 和 ViT-L 的准确性以及 MViTv2-B 的准确性。

    Apr, 2023

  • STA: 大规模视频人员再识别的时空注意力

    本文中，我们提出了一种新的空间 - 时间注意力（STA）方法，用于解决视频中的大规模人员重新识别任务，该方法通过在时空维度上充分利用那些具有区分性的目标人物部分来生成鲁棒的剪辑级特征表示，使用该方法可以很好地解决基于视频的人员重新识别的挑战性问题，如姿势变化和部分遮挡。

    Nov, 2018

  • 动态空间稀疏化：用于高效视觉 Transformer 和卷积神经网络的优化

    本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。

    Jul, 2022

  • 视频人员重新识别的多阶段时空聚合变形器

    本文提出了一种新的 Multi-Stage Spatial-Temporal Aggregation Transformer，采用两个代理嵌入模块来全面感知输入个人的属性和身份信息；通过 SPA 模块进行自注意操作，并采用新设计的自注意力操作提取信息，同时引入了时间分块混洗以进一步提高模型的鲁棒性，在各个标准基准测试中也实现了最先进的准确性。

    Jan, 2023

  • ProTA：文本 - 视频检索的概率化令牌聚合

    提出 Probabilistic Token Aggregation (ProTA) 方法来处理内容不对称的跨模态交互，通过双重关联聚合、基于令牌的概率对齐和自适应对比损失，在 MSR-VTT、LSMDC 和 DiDeMo 数据集上取得显著改进。

    Apr, 2024

  • 视频目标分割的层次化时空 Transformer

    本文提出了一种名为 HST 的半监督视频对象分割框架，使用 Swin Transformer 和 Video Swin Transformer 提取图像和视频特征，并使用内存读取操作产生层次特征以精确重构对象蒙版，该框架在处理复杂场景下具有有效性和鲁棒性，尤其是 HST-B 在多个流行基准测试中优于现有技术。

    Jul, 2023