Aug, 2023

当前的长期视频理解数据集是否长期？

PDF
TL;DR我们提出了一种评估视频数据集对于长期动作识别模型评估的适用性的方法，研究发现现有的长期动作分类任务的数据集可以通过使用基于短期信息的快捷方式有效解决。因此，我们鼓励长期动作识别研究人员使用需要长期信息才能解决的数据集。
automatic action recognitiondeep learninglong-term informationvideo datasetlong-term recognition
发现论文，激发创造
  • 深度视频动作识别的全面研究

    本文综述了 200 多篇关于视频动作识别的深度学习论文，介绍了 17 个影响模型设计的数据集和深度学习模型的发展历程，包括深度学习适应、双流网络、3D 卷积核和计算效率模型，并对几种方法在典型数据集上进行了基准测试，最后，讨论了视频动作识别面临的问题和未来的研究机会。

    Dec, 2020

  • 语言和视觉任务中的动作识别数据集分析

    针对自然语言与视觉任务融合的多个数据集和方法的持续爆炸性增长的问题研究，本篇综述将现有的行动识别方法按照它们如何概念化这个问题进行分类，并详细评述现有的数据集及其多样性、优缺点。 重点关注最近开发的数据集，它们将视觉信息与语言资源联系起来，并对图像中的动作进行细粒度的语法和语义分析。

    Apr, 2017

  • 迈向长型视频理解

    本研究通过开发评估协议和引入一种基于对象为中心的变压器视频识别架构，针对大规模数据集进行长型视频理解任务的研究，并展示了其在 7 项不同任务上的性能显著优于现有短期模型的结果，同时在 AVA 数据集上也优于可比较的最新研究成果。

    Jun, 2021

  • 行动识别的长期时间卷积

    通过使用长时序卷积神经网络和高质量的光流估计，该研究获得了 UCF101 和 HMDB51 数据集上最先进的人类动作识别结果，具备良好的行为表示和准确性。

    Apr, 2016

  • 只有时间能告诉我们：发现用于时间建模的时间数据

    该研究通过构建一个基于 ' 时间数据集 ' 的分类器来研究理解视觉世界如何随时间变化以及在视频理解中，Temporal 与 Static Action Classes 的区别；并表明更多的时间数据可以帮助提高模型性能。

    Jul, 2019

  • 从网络监督视频数据中学习细粒度动作概念的 YouTube 数据集挖掘

    介绍了一个大规模的现实世界数据集，该数据集用于评估人类行为识别的学习技术，进一步提出了在无人干预状态下收集数据和训练的方法，并针对该训练数据出现的语义不一致性问题，提出了一个语义分层结构。

    Jun, 2019

  • 视频动作识别的持续学习方法基线

    本文旨在针对视频动作识别领域提出一种有效的、高效的方法来解决模型不断学习的问题，包括使用模型信心或数据信息来选择可记忆的样本的方法，并针对此方法进行评估，得出了在小缓冲区的条件下表现出更高的学习效果。

    Apr, 2023

  • 长期特征库用于详细视频理解

    本文介绍了一种使用长期特征库的方法，用于增强现有的视频模型，将传统视野仅在 2-5 秒短片内的限制打破，实现了在 AVA、EPIC-Kitchens、Charades 这三个数据集上领先水平的效果。

    Dec, 2018

  • 视频动作识别的大规模弱监督预训练

    使用大量网络视频进行预训练能够显著提高三个具有挑战性的公共行动识别数据集的性能，并对弱监督视频行动数据集的构建进行了深入研究。

    May, 2019

  • 用于长距离视频理解的时间聚合表示

    本文提出了一种灵活的多粒度时间聚合框架，用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测，并在 Breakfast，50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果，且兼容于视频分割和动作识别。

    Jun, 2020