CVPRApr, 2021

FrameExit：面向高效视频识别的条件式提前退出

PDF
TL;DR本文提出了一种条件早期退出框架，它采用简单的采样策略和级联的门控模块来自动决定处理最早推理的时点，在需要的情况下提供实时监督信号来提供精度和计算成本之间的动态权衡，以实现高效的视频识别。该方法在三个大规模视频基准测试中均优于竞争方法，在 ActivityNet1.3 和 mini-kinetics 上甚至具有 1.3 倍和 2.1 倍的计算成本降低。此外，该方法在 HVU 基准测试上确立了高效视频理解的新状态。
发现论文，激发创造
  • 动态推理：一种新的高效视频动作识别方法

    本文提出了一种动态推断方法，从网络深度和输入视频帧数的角度来提高推断效率，通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上，并按照预定义的路径逐步在网格上进行推断，可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络，证明了新方法的优越性。

    Feb, 2020

  • 样本减少，学习更多：通过帧特征修复实现高效动作识别

    通过恢复两个稀疏采样和相邻视频帧的中间特征，本研究提出了一种新方法，以解决过采样帧引起的性能下降问题，并且在几个常用基线方法上提高了 50% 以上的效率，仅导致 0.5% 的识别准确率降低，同时在零 - shot 设置下也意外地改善了模型的概括能力。

    Jul, 2023

  • FIANCEE: 基于条件提前退出的对抗网络快速推断

    本文提出了一种利用早期退出支路来降低计算量的方法，并在两种最先进的生成任务模型上应用，即从语义映射中生成和面部表情的交叉重演，可以输出具有自定义较低质量阈值的图像，尤其适用于实时应用场景。

    Apr, 2023

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 长视频中高效的视频识别：在移动时观察

    基于 “移动中观察” 新的识别范例，相比于传统的分阶段范例，以更高的效率融合粗粒度采样和细粒度识别的统一时空建模，并通过层次化机制高效捕获、推断长剪辑视频中的单位级和视频级时间语义，实现了新的视频时空建模效率与准确性的权衡。

    Aug, 2023

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • ECO: 在线视频理解的高效卷积神经网络

    本文提出了一种基于长期信息的网络架构，能够同时加快视频处理速度和提高动作分类和视频字幕质量，其采样策略利用邻近帧的冗余性能够高效地处理每秒多达 230 个视频，具有与现有方法相当的性能且快速度可达现有方法的 10 到 80 倍。

    Apr, 2018

  • 高效视频识别的自适应对焦

    本文探讨了视频识别中的空间冗余问题，提出了一种基于强化学习的自适应空间视频识别方法（AdaFocus），通过在一个小图像块的空间序列上采用高效的卷积神经网络和循环决策网络来定位和选择最相关的区域，以提高计算效率和精度。

    May, 2021

  • 视频识别的深度特征流

    该研究提出了一种针对视频识别的研究框架，Deep feature flow，使用卷积神经网络在关键帧上运行，通过流场传播其特征图到其他帧，大大提高了视频识别的速度和准确性，同时为实际应用打下坚实的基础。

    Nov, 2016

  • 利用较少帧数进行高效视频分类

    探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。

    Feb, 2019