CVPRFeb, 2018

用于视频快速推理的循环残留模块

PDF
TL;DR本文提出了一种名为 Recurrent Residual Module （RRM）的框架，可以使用两个连续帧的中间特征图的相似度来大大减少冗余计算，精确计算每个帧的特征图，从而加速 CNN 推断以进行视频识别，实验结果显示，与维持相似识别性能的前一方法相比，RRM 平均加速率达到 2 倍，可在许多常用 CNN 上加速达到 8-12 倍，而在某些二进制网络上加速率可以高达 500 倍
cnnvideo recognitionrecurrent residual modulefeature mapsacceleration
发现论文，激发创造
  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 用于视觉序列应用的深度递归神经网络框架

    我们提出了一种可以有效地堆叠的新型循环神经网络框架，其中包含称为 Context Bridge Module (CBM) 的新型循环神经网络模块和 Overlap Coherence Training Scheme 的设计。通过在几个视觉顺序问题上使用 15 层的深层 RNN 架构，深层 RNN 模型在动态图像分类等任务上表现出了显著的提高。

    Nov, 2018

  • 压缩视频中的快速目标检测

    该论文提出了使用 Motion aided Memory Network (MMNet) 进行快速目标检测的方法，并取得了较高的检测效果，验证了这种方法在压缩视频上的可行性。

    Nov, 2018

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 基于 U-Net 的循环残差卷积神经网络（R2U-Net）用于医学图像分割

    本文介绍了一种基于 U-Net 的循环卷积神经网络（RCNN）基础上的模型 RU-Net 和基于 U-Net 的循环残差卷积神经网络（RRCNN）基础上的模型 R2U-Net。这些模型在医学图像分割任务中表现出优异的性能，比 U-Net 和 ResU-Net 等等同网络参数的模型表现更好。

    Feb, 2018

  • 视频超分辨率的循环反投影网络

    提出了一种新颖的视频超分辨率方法，利用具有循环编码器 - 解码器模块的迭代背投影网络从连续视频帧中集成时空上下文信息，通过迭代反向投影框架，无需将帧堆叠在一起，实现对目标帧的高分辨率重建。

    Mar, 2019

  • 重构运动表示：使用 3D ConvNets 剩余帧进行更好的动作识别

    本文提出了一种使用残差帧来提取运动特征的快速且有效的方法，通过将 RGB 帧替换为残差帧，从而取得了在 UCF101 和 HMDB51 数据集上 20.5% 和 12.5% 的准确率提升，在三个基准数据集上，我们的两步解决方案达到了比那些使用额外的光流方法更好或相当的性能，特别是在 Mini-kinetics 数据集上表现优异，表明残差帧是提取运动特征的良好补充。

    Jan, 2020

  • 带有循环结构细节网络的视频超分辨率

    提出了一种基于循环的视频超分辨率方法，该方法有效地利用了前一帧的信息来超分辨率当前帧，包括两个流结构 - 细节块和隐状态适应模块，并在基准数据集上优于最先进的方法。

    Aug, 2020

  • 基于残差估计的视频立体匹配的灵活递归网络

    基于残差估计的递归结构网络 RecSM 用于视频立体匹配，通过计算当前帧与前一帧之间的残差值，仅利用时间上下文作为参考，快速计算当前帧的位移，同时使用 DOM 和 TAM 模块进一步减少估计误差，堆叠式计算结构 (SCS) 实现可扩展性。实验结果表明，RecSM 在一块 NVIDIA RTX 2080TI GPU 上运行 0.054 秒，相比 ACVNet 提高了 4 倍的速度，准确度仅下降 0.7%。

    Jun, 2024

  • RNNPool：适用于内存受限推断的高效非线性池化

    介绍了一种新型的池化算子 RNNpool—— 基于循环神经网络，可在大的图像区域上高效地聚合特征，快速下采样激活映射。在标准视觉任务中应用于 MobileNets、DenseNet 等多种体系结构，可显著降低推理的计算复杂度和峰值内存使用量，保持可比的准确性。使用 RNNpool 与标准 S3FD 体系结构构建了一种面部检测方法，在 256 KB RAM 以下的微型控制器上实现了最先进的 MAP。

    Feb, 2020