Jan, 2022

OCSampler: 用单步采样压缩视频至单个剪辑

PDF
TL;DR本文通过提出 OCSampler 框架，利用一小段短视频的紧凑且有效的表示来实现视频识别的高效率。利用实例特定的视频压缩策略和轻量的 skim 网络和简单且有效的策略网络，我们扩展了所提出的方法，具有帧数预算，可以在高置信度下用尽可能少的帧产生正确的预测。实验表明，该框架在准确性，理论计算开销和实际推理速度等方面优于以前的方法。
video representationframe samplingvideo recognitionskim networkframe number budget
发现论文，激发创造
  • SCSampler：用于高效行为识别的视频显著片段采样

    本文介绍了一种轻量级的 “剪辑采样” 模型，可在长视频中高效识别最显著的时间片段，将行动识别的计算成本显著降低，同时提高识别准确性。

    Apr, 2019

  • 针对少样本动作识别的任务自适应时空视频采样器

    本文提出了一种针对 Few-Shot 行为识别的视频帧采样器，采用了时间选择器和空间放大器来实现任务特定的时空帧采样，并采用任务自适应学习来动态调整采样策略。实验结果表明，该采样器在各个基准测试上都具有显著的性能提升。

    Jul, 2022

  • MGSampler：用于视频动作识别的可解释取样策略

    本文提出了一种基于运动敏感和运动一致性的框架抽取方法，称为 MGSampler，有效地解决了现有抽样策略中固定帧选择的不足，并在五大标准上进行了实验验证。

    Apr, 2021

  • 用于高效活动识别推断的选择性特征压缩

    本论文提出了一种基于选择性特征压缩的动作识别推理策略，通过在时空维度上压缩特征流来显著提高推理效率，从而减少内存使用并略微提高 Top1 精度，实验表明该方法可以代替常用的 30 次裁剪密集采样过程。

    Apr, 2021

  • Skip-Clip：基于未来片段顺序排序的自监督时空表示学习

    本研究介绍了一种新颖的自监督表示学习方法，称为 Skip-Clip，该方法可以利用视频中的时间连贯性，用于训练模型进行视频未来的裁剪排序预测。研究结果表明，使用我们的方法学习到的特征是通用且可转移到下游任务的，并且在 UCF101 数据集上胜过随机初始化和使用 Inflated ImageNet 参数初始化的模型，跟领先自监督方法相比也取得了有竞争力的结果。

    Oct, 2019

  • 少即是多：基于稀疏采样的 ClipBERT 视频与语言学习

    提出了一个 ClipBERT 的通用框架，通过稀疏采样实现了视频和语言任务的廉价端到端学习，该方法在多个数据集上进行的实验表明，与使用全长视频的现有方法相比，使用少量稀疏采样剪辑进行端到端学习通常更准确。

    Feb, 2021

  • 视频识别中压缩序列为一个信息丰富的帧

    本文提出了一种信息帧综合（IFS）架构，通过三个目标任务和两个正则化器来生成一个可以用于视频分析的综合框架，并用大规模 Kinetics 数据集进行了广泛的实验。与将视频序列映射到单个图像的基线方法相比，IFS 表现出优越的性能。此外，IFS 在基于图像的 2D 网络和基于片段的 3D 网络上表现一致，并以较少的计算成本实现了与最先进方法的相当性能。

    Jan, 2022

  • 基于多智能体强化学习的帧采样技术在未剪辑视频识别中的应用

    该研究旨在通过开发基于学习的帧采样策略，改进未修剪视频分类，并借鉴多智能体强化学习框架解决多种手工制作策略带来的性能损耗问题。实验结果显示，该方法在各种 2D 和 3D 基线方法上取得的成果优于手工制作策略，并实现了新的 YouTube Birds 和 YouTube Cars 领域的最佳表现。

    Jul, 2019

  • 利用较少帧数进行高效视频分类

    探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。

    Feb, 2019

  • 样本减少，学习更多：通过帧特征修复实现高效动作识别

    通过恢复两个稀疏采样和相邻视频帧的中间特征，本研究提出了一种新方法，以解决过采样帧引起的性能下降问题，并且在几个常用基线方法上提高了 50% 以上的效率，仅导致 0.5% 的识别准确率降低，同时在零 - shot 设置下也意外地改善了模型的概括能力。

    Jul, 2023