CVPRDec, 2020

TDN：高效行为识别的时序差分网络

PDF
TL;DR本文提出了一种新的视觉结构，称为 Temporal Difference Network (TDN)，其核心是通过一个高效的 Temporal Difference Module (TDM) 来捕获多尺度信息，以提高动作识别的效率。在 Something-Something V1＆V2 数据集上，TDN 呈现了一个新的最高水平，并且与 Kinetics-400 数据集上的最佳性能持平，同时我们还对 TDN 进行了深入的消融研究和可视化结果的绘制，为时序差分建模提供了全面的分析。
temporal modelingaction recognitionvideo architecturetemporal difference networkmulti-scale temporal information
发现论文，激发创造
  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 动作识别的记忆增强时序动态学习

    提出了一种记忆增强的时间动态学习网络，利用差分记忆控制器将最显著的信息写入外部存储器，并忽略不相关的信息，增强了动作识别的效果。

    Apr, 2019

  • 动作识别的时间分离表征学习

    本研究通过设计渐进式增强模块（PEM）和创建时间多样性损失（TD Loss）两种方法，以解决将 2D CNN 应用于视频分析中出现的重复和冗余信息利用问题，并在 Something-Something V1 和 V2 等基准时间推理数据集上取得 2.4％和 1.3％的性能改进，同时在大规模数据集 Kinetics 上也 witness 了超过基于 2D-CNN 的现有技术的性能提升。

    Jul, 2020

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • 在线动作检测的时序循环网络

    本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

    Nov, 2018

  • TEINet: 面向视频识别的高效架构

    提出了一种称为 TEI 模块的有效的时序模块，它可插入现有的 2D CNN 中。与三维卷积相比，该方法学习时序特征的的范例不仅能够灵活有效地捕捉到时序结构，还具有高效性。

    Nov, 2019

  • 可解释的基于时态卷积网络的 3D 人体动作分析

    本文提出了一种使用新型解释性模型 TCN 进行 3D 人体动作识别任务的方法 Res-TCN，并在最大的 3D 人体动作识别数据集 NTU-RGBD 上取得了最新的成果。

    Apr, 2017

  • 快速视频语义分割的时态分布网络

    该研究提出了一种名为 TDNet 的时态分布网络，旨在实现快速准确的视频语义分割，该网络使用深度卷积神经网络从视频中提取特征，并通过逐帧分布的方式，引入了新颖的注意力传播模块和分组知识蒸馏损失函数，从而达到了较高的分割准确率和更低的延迟。

    Apr, 2020