AAAINov, 2018

视频动作识别的时空双线性网络

PDF
TL;DR本文中，我们提出了一种基于时间序列二次双线性变换的新型 Temporal Bilinear 模型以捕获邻近帧之间的时间序列特征交互，通过在线性复杂度下利用分解的双线性模型和瓶颈网络设计来构建我们的 TB 块，在包含 TB 块和 2D 空间卷积的两种方案中进行了实验比较，在多个广泛采用的数据集上进行了实验证明了我们方法的有效性。
temporal bilinear modelsequential relation modelingmotion evolutiontemporal pairwise feature interactionscomputer vision
发现论文，激发创造
  • 时间建模的近似双线性模块

    研究使用类似双线性模块（ABM）的方法进行时间建模，在分割相邻帧的可视重复部分的情况下减少帧分类的计算成本，从而实现在无动态参数情况下进行高效的视频分类。

    Jul, 2020

  • 视频动作识别的时空金字塔网络

    提出了一种新的空时金字塔网络，将空间和时间特征以金字塔结构融合，从而加强彼此。使用紧凑的双线性运算符实现高效训练的双线性融合操作，最终网络在标准视频数据集上取得了最先进的结果。

    Mar, 2019

  • 学习深度双线性变换以获取细粒度图像表示

    本文提出了一种深度双线性变换（DBT）块，可以在卷积神经网络中深度堆叠，以学习细粒度图像表示，其利用双线性变换在每个语义组内计算成对交互的方式，显著减轻了计算成本，能够在 CUB-Bird、Stanford-Car 和 FGVC-Aircraft 等多个细粒度图像识别基准测试中取得新的最佳表现。

    Nov, 2019

  • 动态图中的双线性交互学习时间注意力

    该论文通过使用时态点过程和变分自编码器提出了一种无需人工边缘指定的模型，学习推断节点间的时间关注力，从而具有更大的灵活性和更好的性能，用于动态链接预测任务。

    Sep, 2019

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • TDN：高效行为识别的时序差分网络

    本文提出了一种新的视觉结构，称为 Temporal Difference Network (TDN)，其核心是通过一个高效的 Temporal Difference Module (TDM) 来捕获多尺度信息，以提高动作识别的效率。在 Something-Something V1＆V2 数据集上，TDN 呈现了一个新的最高水平，并且与 Kinetics-400 数据集上的最佳性能持平，同时我们还对 TDN 进行了深入的消融研究和可视化结果的绘制，为时序差分建模提供了全面的分析。

    Dec, 2020

  • BiCnet-TKS: 学习视频人物再识别的高效时空表示

    本文提出了一种高效的时空表示方法 BiCnet-TKS，并通过在原始分辨率和下采样策略上处理连续帧以获取目标身份的全面特征；该模型包含多个并行的和多样化的注意力模块以发现连续帧的不同部位，在任何深度插入 TKS 模块以捕捉短期和长期的时间关系，并在多个基准测试中取得优于先前研究的结果。

    Apr, 2021

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016