Jul, 2019

只有时间能告诉我们：发现用于时间建模的时间数据

PDF
TL;DR该研究通过构建一个基于 ' 时间数据集 ' 的分类器来研究理解视觉世界如何随时间变化以及在视频理解中，Temporal 与 Static Action Classes 的区别；并表明更多的时间数据可以帮助提高模型性能。
发现论文，激发创造
  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 当前的长期视频理解数据集是否长期？

    我们提出了一种评估视频数据集对于长期动作识别模型评估的适用性的方法，研究发现现有的长期动作分类任务的数据集可以通过使用基于短期信息的快捷方式有效解决。因此，我们鼓励长期动作识别研究人员使用需要长期信息才能解决的数据集。

    Aug, 2023

  • 探索视频动作识别中的可解释性

    我们提出了一个用于研究动作识别假设并定量测试的框架，从而推进视频动作识别中深度神经网络的可解释性研究。

    Apr, 2024

  • 通过时间动作解析实现内部和外部交互理解

    使用 TAPOS 数据集，针对深度学习在运动识别中的限制，提出了一种改进的时序划分方法，能挖掘出运动过程中的子动作信息，从而有效提高识别性能。

    May, 2020

  • 时刻数据集：百万事件视频用于事件理解

    Moments in Time 数据集是一个包含 100 万短视频的大型人工注释集合，主要用于研究动态事件的空间 - 音频 - 时间动态建模，包括 339 个类别的活动标注，可作为发展至人类日常处理的复杂性和抽象推理水平的模型的新挑战。

    Jan, 2018

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 洗牌学习：使用时间序列验证的无监督学习

    该论文提出了一种从视频的原始时空信号中学习视觉表示的方法，通过无监督的顺序验证任务，即确定来自视频的帧序列是否按照正确的时间顺序排列，学习卷积神经网络 (CNN) 的强大视觉表示，其结果显示出该方法在捕捉人类姿势等在时间上变化的信息方面具有敏感性，并可用于姿势估计和行动识别。

    Mar, 2016

  • 深度视频动作识别的全面研究

    本文综述了 200 多篇关于视频动作识别的深度学习论文，介绍了 17 个影响模型设计的数据集和深度学习模型的发展历程，包括深度学习适应、双流网络、3D 卷积核和计算效率模型，并对几种方法在典型数据集上进行了基准测试，最后，讨论了视频动作识别面临的问题和未来的研究机会。

    Dec, 2020