ICMLMar, 2018

视频的时空高斯混合层

PDF
TL;DR本文介绍了一种新的卷积层 Temporal Gaussian Mixture (TGM) layer，并阐述了它如何用于有效地捕捉连续活动视频中更长期的时间信息，其中 TGM 层是一个由可完全区分的一小组参数（例如，高斯的位置 / 方差）所控制的时间卷积层，并且我们通过多层 TGM 层展现了完全卷积的视频模型进行活动检测，通过对 Charades 和 MultiTHUMOS 等多个数据集的广泛实验，验证了 TGM 层的有效性，显著优于现有技术。
发现论文，激发创造
  • 高斯时空感知网络用于动作定位

    本文提出一种新的视频动作定位框架，使用高斯核实现动作提案的动态时间尺度优化，通过学习一组高斯核对动作的时间结构进行建模，取得了目前最好的检测结果。

    Sep, 2019

  • 视频的时空演化神经网络架构

    基于进化搜索算法的视频 CNN 结构自动探索方法可以在较短的时间范围内自动地发现新的、更好的视频体系结构，实现了空间和时间交互作用的学习，并提出了一种称为 iTGM 层的组件，可以更加有效地使用其参数，允许学习更长时间范围的空间 - 时间交互作用，并在多个测试数据集上表现出比现有模型更准确、更快的性能。

    Nov, 2018

  • 视频中时间动作定位的图卷积模块

    本文研究了时空行为定位问题，提出了一种新的图卷积模块（GCM），强调了行为单元之间的关系对于行为定位的重要性，并证明了该模块能够提高现有行为定位方法的性能。

    Dec, 2021

  • 高斯混合卷积网络

    提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

    Feb, 2022

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019

  • 时域三维卷积神经网络：视频分类的新架构和迁移学习

    该研究论文提出了一种基于 3D CNN 和新颖的神经网络结构，可以使视频分类和人类行为识别的准确性优于现有技术，并通过迁移学习的技巧从二维卷积神经网络中转移知识来改善三维卷积神经网络的训练效果。

    Nov, 2017

  • 动作识别的时间分离表征学习

    本研究通过设计渐进式增强模块（PEM）和创建时间多样性损失（TD Loss）两种方法，以解决将 2D CNN 应用于视频分析中出现的重复和冗余信息利用问题，并在 Something-Something V1 和 V2 等基准时间推理数据集上取得 2.4％和 1.3％的性能改进，同时在大规模数据集 Kinetics 上也 witness 了超过基于 2D-CNN 的现有技术的性能提升。

    Jul, 2020

  • 用于稳健序列分类的时间注意力门控模型

    本文提出了一种称为 Temporal Attention-Gated Model (TAGM) 的模型，将注意力模型和门控循环网络的思想集成在一起，以更好地处理嘈杂或未分段的序列，实现了更好的预测准确性和可解释性，这在口头数字识别，基于文本的情感分析和视觉事件识别等三个不同的任务中得到了证明。

    Dec, 2016