IJCAIMay, 2022

在线轻量级混合表示学习：在视觉跟踪中的应用

PDF
TL;DR本文提出了一种新的混合表示学习框架，该框架可以针对流数据进行处理，其中视频中的图像帧由两个不同的深度神经网络集成模拟；一个是低位量化网络，另一个是轻量级全精度网络，前者以较低的成本学习粗略的主要信息，而后者则提供了能够还原表示的高保真度的剩余信息，所提出的并行结构是维护互补信息的有效方法，因为可以在量化网络中利用定点算术，并且轻量级模型提供了由紧凑通道修剪网络给出的精确表示，我们将混合表示技术纳入在线视觉跟踪任务，其中深度神经网络需要在实时处理目标外观的时间变化，与传统的深度神经网络实时跟踪器相比，在标准基准测试中，我们的跟踪算法表现出较高的准确性，只需很小的计算成本和内存占用。
发现论文，激发创造
  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • 融合多路深度网络进行视频分类

    本研究提出了一种多流深度网络架构，用于解决视频分类问题。通过训练三种卷积神经网络来建模视频中的空间、短期动态和音频线索，并采用长短期记忆网络来探索长期时间动态，最终通过自适应融合方法生成预测结果，将多模态信息充分利用。实验证明，该方法的性能明显优于现有的方法。

    Sep, 2015

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • AssembleNet: 在视频网络中搜索多流神经连接

    本文提出一种名为 AssembleNet 的方法，通过进化算法自动发现连接更好、时空交互更强的神经网络结构，以达到更好的视频理解效果。该方法在公共视频数据集上优于以往的方法，尤其是在 Charades 数据集上，58.6% 的 mAP 表现尤为出色。

    May, 2019

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • LongShortNet：流式感知中的时间和语义特征融合探索

    提出了 LongShortNet 模型，该模型能够在流处理中捕捉长期时间运动模式、整合短期空间信息，实现空时特征融合，具有较强的检测效果。

    Oct, 2022

  • 动作检测的预测 - 校正网络

    本研究提出了一种基于线性动态系统和非线性映射理论的预测 - 纠正神经网络模型，能够自适应地关注‘惊奇’的视频帧，优化学习效率。研究表明，该模型在三个挑战数据集上的表现与双流网络相当，而无需计算昂贵的光流技术。

    Apr, 2017

  • 卷积神经网络结构搜索用于时空特征学习

    基于 ImageNet 预训练的 ConvNets 在图像识别方面已经得到了证明，但是为了捕捉到运动模式，仍然需要专门的时空特征学习，本文提出了一种经验 ConvNet 架构搜索方法，通过 3D 残差 ConvNet 实现，其在 Sports-1M、UCF101、HMDB51、THUMOS14 和 ASLAN 上的表现均优于 C3D，且推断时间减少一半、模型大小减小一半，具有更紧凑的表现形式。

    Aug, 2017

  • 深度多模态软解码非常低比特率人脸视频

    本文提出了一种基于深度学习的多模态神经网络来去除讲述者视频的压缩伪影，这种方法可以显著提高冗余压缩下的视频质量。

    Aug, 2020

  • 细节同理心：用于动作识别的密集轨迹和混合分类架构

    介绍一种结合手工特征和深度学习的识别视频动作的方法，并在五个动作识别基准测试中取得了显著的数据效率和精度提升。

    Aug, 2016