Dec, 2019

大小网络与深度时间聚合学习高效视频表示

PDF
TL;DR本文介绍了一种基于低分辨率帧和高分辨率帧的轻量级、节省内存的行动识别架构，通过 FLOPs 降低 3~4 倍，内存使用降低 2 倍，利用提出的时间聚合模块来模拟视频中的时间依赖性。该模型在多项行动识别基准测试中表现良好。
action recognition3d convnetsmemory-friendly architecturetemporal aggregation modulekinetics
发现论文，激发创造
  • 利用较少帧数进行高效视频分类

    探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。

    Feb, 2019

  • 构建良好实践以用于非常深的双流 ConvNets

    本研究针对深度学习在静态图像中的分类问题做了深入探讨，分析了在视频领域中，深度学习模型较浅，训练集过小的问题。该研究通过设计更深的模型，采用多种好的训练方法，得到了 91.4% 的 UCF101（一份视频数据集）分类精度。

    Jul, 2015

  • Big-Little Net：一种高效的多尺度特征表示方法，用于视觉和语音识别

    该论文提出了一种新的卷积神经网络 (CNN) 架构，通过使用具有不同计算复杂度的多分支网络，在不同的尺度上频繁合并特征，以使用更少的计算实现多尺度特征，并在目标识别和语音识别任务上显著提高了模型效率和性能。

    Jul, 2018

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 动作检测的结构化模型

    本篇论文提出了一种增强标准 I3D 网络的算法，通过添加跟踪模块和图卷积网络结构，将领域知识融入模型，并在活动行为检测中获得了更好的结果表现。

    Dec, 2018

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 压缩视频动作识别

    通过对压缩视频进行深度网络培训，利用视频压缩技术，获得了更高密度的信息、4.6 倍于 Res3D 和 2.7 倍于 ResNet-152 的速度以及在 UCF-101、HMDB-51 和 Charades 数据集上均优于其他方法的性能。

    Dec, 2017

  • 样本减少，学习更多：通过帧特征修复实现高效动作识别

    通过恢复两个稀疏采样和相邻视频帧的中间特征，本研究提出了一种新方法，以解决过采样帧引起的性能下降问题，并且在几个常用基线方法上提高了 50% 以上的效率，仅导致 0.5% 的识别准确率降低，同时在零 - shot 设置下也意外地改善了模型的概括能力。

    Jul, 2023

  • 基于时间金字塔池化的卷积神经网络用于动作识别

    该论文提出了一种新的网络结构，可以允许任意数量的帧作为网络输入，并采用编码层、时空金字塔池化层和特征拼接层解决了 CNN 在视频分类中帧数不定的问题，实验结果表明该方法在使用更少的训练数据时能超越同类方法。

    Mar, 2015