ICCVJun, 2019

使用 CNN 识别行为的幻觉 IDT 描述符和 I3D 光流特征

PDF
TL;DR本文提出了一种采用手工制作的视频表示方法和 CNN 异步技术进行动作识别的方法，并建议一种端到端可训练的网络流结构，用于简化该方法的处理流程，同时在四个公开数据集上获得了最新的结果。
action recognitionhandcrafted video representationscnnimproved dense trajectorybag-of-words
发现论文，激发创造
  • D3D: 视频动作识别的精简三维网络

    该论文研究了使用 3D CNNs 进行动作识别时，使用两个网络（时空流和时间流）的效果，并发现在时间流中存在动作表示，但其在时空流中缺失；另外也展示了如何通过引入蒸馏方法，将时空流中缺失的动作信息膨胀输出，进而提高 3D CNNs 的准确率。

    Dec, 2018

  • 静态图像的动作幻觉用于动作识别的 Im2Flow 算法

    通过一个 encoder-decoder CNN 和 optical flow 方法，我们的研究为静态图像动作识别提供了一个新方法，即学习一个短期动态先验，在新的静态图像上推断预期的光流，成功地将学习的动作转移至标准的两流网络中，并且在七个数据集上表现出了良好的性能。

    Dec, 2017

  • 基于交叉流的改进稠密轨迹特征提取

    为了解决密集轨迹提取过程中的问题，我们提出了一种新的局部描述符，它汇聚了在 iDT 中交错两个网络之间的新卷积层，通过将一个网络中学习到的有区分性的权重应用到另一个网络的卷积层上来计算得到。该方法在 UCF101 上达到了 92.3％，在 HMDB51 上达到了 66.2％的排名。

    Apr, 2016

  • 使用 3D 卷积神经网络学习红外动作识别的时空特征

    该研究提出了一种新的基于两个流的 3D 卷积神经网络体系结构，使用光流场序列处理红外图像，应用于红外动作识别（InfAR）数据集，实验结果表明我们的方法在 InfAR 数据集上可以获得最好的平均精度（AP）表现。

    May, 2017

  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • 利用两流深度三维卷积神经网络学习空间 - 时间特征进行唇语识别

    本研究探讨利用 3D CNN 和光流输入的深度学习模型提高视频字幕的准确性，并证明采用光流输入单独或与灰度视频输入一起能进一步提高性能，在 LRW 数据集上实现了 5.3% 的绝对改进。

    May, 2019

  • 一种用于动作识别的强大高效的视频表示方法

    本文旨在介绍一种最先进的视频表示方法并将其应用于高效的动作识别和检测。我们采用密集轨迹特征提取等一系列方法来改进该方法，并比较了传统基于单词包直方图的编码方法以及 Fisher 向量编码方法在视频识别任务中的表现。实验结果表明，我们提出的改进轨迹特征显着优于传统的密集轨迹方法，并且 Fisher 向量编码方法表现更好。

    Apr, 2015

  • 三流卷积神经网络中的连续深度轨迹描述符用于动作识别

    本文提出了一种名为连续深层轨迹描述符（sDTD）的长期运动描述符，它通过将稠密轨迹投影到二维平面上，再使用 CNN-RNN 网络来学习长期运动的有效表示，进而将 sDTD 流引入三流框架以从视频序列中识别动作。实验证明该方法在 KTH 和 UCF101 数据集上取得了最先进的性能，且在 HMDB51 数据集上与最先进的方法相媲美。

    Sep, 2016

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 视频分类的光流特征幻象

    本文提出了一种名为 MoNet 的运动幻觉网络，通过从外观特征想象光流特征，而无需依赖光流计算，大幅度提高了视频分类性能，同时能够帮助削减一半的计算和数据存储负担。

    May, 2019