ICCVMay, 2021

高效视频识别的自适应对焦

PDF
TL;DR本文探讨了视频识别中的空间冗余问题，提出了一种基于强化学习的自适应空间视频识别方法（AdaFocus），通过在一个小图像块的空间序列上采用高效的卷积神经网络和循环决策网络来定位和选择最相关的区域，以提高计算效率和精度。
spatial redundancyvideo recognitioncomputational efficiencyadafocusreinforcement learning
发现论文，激发创造
  • AdaFocus V2：面向视频识别的空间动态网络的端到端训练

    介绍了一种基于差值插值的补丁选择算法，简化了 AdaFocus 的训练过程并提高了效率，并提出了一种改进的训练方案和条件退出技术，该模型在六个基准数据集上表现出更好的性能。

    Dec, 2021

  • AdaFocusV3: 统一的时空动态视频识别

    本文探索在改进的 AdaFocusV3 框架上，统一时空动态计算的形式，通过在一些信息丰富的三维视频块上激活高性能网络以降低计算成本，并通过自适应轻量的策略网络在每个样本上根据测试时间的需求动态配置视频块数量，模型经过在 ActivityNet，FCVID，Mini-Kinetics，Something-Something V1&V2 和 Diving48 六个基准数据集上的广泛实验结果证明其显著比竞争算法更有效率。

    Sep, 2022

  • 一种减少图像分类中空间冗余的动态方法：凝视和聚焦

    为了提高卷积神经网络（CNNs）的分类准确率，但不增加计算与存储成本，我们提出了一种采用强化学习所选择的原始图像中的一系列相对较小的输入进行处理的框架，从而实现了高效的图像分类。实验表明，采用我们提出的方法可以在不牺牲准确性的前提下显著提高多种深度模型的计算效率。

    Oct, 2020

  • 通过针对视频的敌对时空聚焦实现有效的健壮性评估

    我们提出了一种基于 AstFocus 攻击的多智能体强化学习框架，该框架同时在视频的关键帧和关键区域上进行攻击，并且通过减小搜索空间来降低查询数，使得在四种主流的视频识别模型和三个广泛使用的动作识别数据集上的结果均优于现有的最佳方法。

    Jan, 2023

  • 动态视觉识别的快速扫描和精确定位网络

    本文提出了一个新的序列特征学习方法，Glance and Focus Network（GFNet），用于图像识别问题中的减少空间冗余和时间复杂度的优化，GFNet 采用类似人类视觉系统的粗到细的学习方式处理图像，并通过强化学习的方式定位图像中的显著区域，从而避免了手动标注的需求。实验表明，GFNet 能够大幅度降低 MobileNet-V3 在 iPhone XS Max 上的平均延迟 (1.3x)，而精度没有任何损失。

    Jan, 2022

  • 视觉注意力的循环模型

    通过引入一种新的循环神经网络模型，允许自适应选择一系列区域或位置并仅处理所选区域。该模型可通过强化学习方法训练，提高图像分类性能，并能够跟踪简单对象。

    Jun, 2014

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 视频异常检测中的补丁时空关系预测

    通过自监督学习和视觉变换网络，提出一种用于视频异常检测的方法，能够有效地保留视频帧的空间和时间上的一致性，并且在三个公共基准测试中表现优于像素生成方法和其他自监督学习方法。

    Mar, 2024

  • Patchwork: 基于分块注意力网络的视频流高效物体检测和分割

    本文提出一种针对延迟敏感应用的硬关注机制，通过选择和处理框架的一个小子窗口，预测整个框架的结果，使得该方法在不影响准确性的前提下减少了大约四倍的延迟，并且使用特殊的内存单元和策略训练策略进一步提高了性能。

    Apr, 2019

  • 面向运动自适应去模糊的空间注意力补丁分层网络

    该研究提出了一种用于处理动态场景运动去模糊的有效像素自适应和特征关注设计，并使用有效的内容感知全局 - 局部过滤器模块，通过动态利用相邻像素信息和全局依赖性来显著提高性能，从而 surpassed 其他先前的去模糊方法。

    Apr, 2020