ICCVOct, 2021

基于时空视频表示学习的 AI 视频播放风格预测

PDF
TL;DR本论文提出了一种通过运动类型分类来理解对象运动的新方法，该分类器可以将给定视频分配到五种不同的原始运动类中，通过该方法获得的表征性能良好，适用于具有挑战性的下游视频检索任务，我们还基于运动类型分类器提出了视频播放风格的推荐系统。
smartphone-generated video contentspatio-temporal representationsobject motion patternsmotion type classificationvideo retrieval
发现论文，激发创造
  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 深度视频表示学习综述

    该论文提供了对视频表示学习的综述，对于顺序视觉数据的时空特征学习方法进行分类，并比较它们在视频分析中的优缺点。

    May, 2024

  • 深度表示学习在动作识别方面的启示

    通过可视化两流模型学习识别视频中人类动作所获得的深度时空表示，我们揭示了一些关键的观察结果，例如交叉流融合可以让网络学习到真正的时空特征，而不是简单的外观和动作特征，同时我们发现可视化不仅可以揭示学习到的表示，还可以说明系统失效的原因。

    Jan, 2018

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • 细节同理心：用于动作识别的密集轨迹和混合分类架构

    介绍一种结合手工特征和深度学习的识别视频动作的方法，并在五个动作识别基准测试中取得了显著的数据效率和精度提升。

    Aug, 2016

  • OST: 优化时空描述符提升通用视频识别中的文本知识

    通过将大型语言模型应用于视频领域，进行语义空间的优化，从而改善图像 - 语言模型在视频数据上的性能限制，并提高视频识别的准确性。

    Nov, 2023

  • 移动视频动作识别

    本文研究了在移动设备上的视频动作识别任务，提出了一个基于 MobileNetV2 和 Temporal Trilinear Pooling (TTP) 模块的方法，使用多种模态处理压缩视频，并进行了效率测试，结果表明我们的模型在移动设备上可以实现 40FPS 的识别速度，且在模型大小和时间消耗方面表现优异。

    Aug, 2019

  • 通过发掘时空统计信息进行自监督视频表示学习

    本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

    Aug, 2020

  • 用于零样本定位和动作分类的空间感知物体嵌入

    本研究旨在通过空间感知物体嵌入实现视频中人类动作的零样本定位和分类，以提高全局对象分类得分并实现新的时空操作检索方案。实验证明，我们的方法在四个当代行动视频数据集中具有竞争优势。

    Jul, 2017