Feb, 2020

使用时序挤压池化学习时空表示

PDF
TL;DR本文提出了一种新的视频表示学习方法，即 Temporal Squeeze（TS）池化，该方法可以从长序列的视频帧中提取必要的移动信息，并将其映射成一组少量的图像。将 Temporal Squeeze pooling 作为层嵌入到现有的卷积神经网络中，设计了一种新的视频分类模型，称为 Temporal Squeeze Network（TeSNet）。生成的 Squeezed Images 包含视频帧中的必要移动信息，与视频分类任务的优化相对应。我们在两个视频分类基准测试上评估了我们的体系结构，并将结果与最先进的结果进行了比较。
发现论文，激发创造
  • 抽榨时间给移动视频理解

    借鉴 SqueezeTime 的概念，本文提出了一种轻量级视频识别网络（SqueezeTime）以在移动设备上实现高精度的视频理解，通过将时间轴压缩到通道维度，并设计了 Channel-Time Learning (CTL) Block，捕捉序列的时间动态特性。

    May, 2024

  • 压缩与激励网络

    本研究提出了一种新的神经网络单元 SE 块来自适应地重新校准通道特征响应，进一步提高 CNN 架构的性能，并在 ILSVRC 2017 分类中取得了一流的成绩。

    Sep, 2017

  • 集合压缩激励网络

    本研究提出了一种称为 SaEnet 的方法，该方法利用多层感知机和聚合激活网络构建卷积神经网络的全局通道表示，通过在层之间诱导全局表示，并在网络中引入多分支线性层，从而增强网络的表征能力。通过使用 Imagenet 和 CIFAR100 数据集进行大量实验证明，该模型的性能与现有最先进的架构相当甚至更好。

    Aug, 2023

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • 动作识别的时间分离表征学习

    本研究通过设计渐进式增强模块（PEM）和创建时间多样性损失（TD Loss）两种方法，以解决将 2D CNN 应用于视频分析中出现的重复和冗余信息利用问题，并在 Something-Something V1 和 V2 等基准时间推理数据集上取得 2.4％和 1.3％的性能改进，同时在大规模数据集 Kinetics 上也 witness 了超过基于 2D-CNN 的现有技术的性能提升。

    Jul, 2020

  • 基于时间金字塔池化的卷积神经网络用于动作识别

    该论文提出了一种新的网络结构，可以允许任意数量的帧作为网络输入，并采用编码层、时空金字塔池化层和特征拼接层解决了 CNN 在视频分类中帧数不定的问题，实验结果表明该方法在使用更少的训练数据时能超越同类方法。

    Mar, 2015

  • MotionSqueeze: 视频理解的神经动作特征学习

    本文提出了一种名为 MotionSqueeze 的可训练神经网络模块，用于有效的运动特征提取，将外部和重量级计算的光流替换为内部和轻量级的学习运动特征方法，在四个标准基准测试中，该方法仅需很少的额外成本，即可获得明显的提高，超越了 Something-Something-V1&V2 数据集上的现有技术。

    Jul, 2020

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • 深度时间线性编码网络

    该研究介绍了一种新的视频表示方法 —— 时间线性编码 (TLE)，通过端到端学习的方式，将视频中的外观和动作全局编码到一种紧凑的特征表示中，可以应用于 2D 和 3D CNNs，并且在人类动作识别任务上表现更好。

    Nov, 2016

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017