MMOct, 2020

Toyota Smarthome 未修剪实景视频用于活动检测

PDF
TL;DR介绍了一种在日常生活环境中成功部署的活动检测系统，它使用了一个新的未修剪的日常生活数据集（TSU），包含了许多真实世界的挑战，如基本的、复合的活动以及涉及对象交互的活动，我们提供了对数据集的实际挑战分析，展示了当前最先进的方法无法满足该数据集的要求，并提出了一种新的基线方法，该方法利用一种模态（即光流）生成注意力权重，以指导另一种模态（即 RGB）更好地检测活动边界。
发现论文，激发创造
  • 追求时间准确性的通用活动检测

    本文提出了一种通用的框架，利用新颖的提案方案和级联分类管道从未修剪的视频中准确检测各种活动，超越了现有最先进方法在 THUMOS14 和 ActivityNet 数据集上的表现。

    Mar, 2017

  • 未剪辑视频分类用于活动检测：参加 ActivityNet 挑战赛

    提出了一种新的方法，通过全局特征分析，预测未裁剪视频的前 k 个标签，并结合动态规划实现带时序约束的活动检测。该方法可用于未裁剪视频分类模型的时间检测。

    Jul, 2016

  • 用于弱监督行为识别和检测的 UntrimmedNets

    本文介绍了一种新的弱监督架构，称为 UntrimmedNet，它可以直接从未剪辑的视频中学习动作识别模型，无需动作实例的时间注释。我们的 UntrimmedNet 通过两个重要组件实现，分类模块和选择模块，分别用于学习动作模型和推理动作实例的时间持续性。虽然我们的 UntrimmedNet 仅采用弱监督，但我们的方法在 THUMOS14 和 ActivityNet 两个数据集上的性能优于或可与那些强监督方法相媲美。

    Mar, 2017

  • DeepSegmenter：用于检测未剪辑自然驾驶视频中异常的时间段定位

    本文提出了一种新的方法学框架 ——DeepSegmenter，该框架同时在单个框架中执行活动分割和分类，以识别驾驶员的异常驾驶行为，并在 2023 年 AI 城市挑战赛的实验验证数据中取得了 0.5426 的活动重叠得分，证明了该系统的有效性、高效性和稳健性。

    Apr, 2023

  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • ZSTAD：零样本时序活动检测

    提出了一种称为零样本时间活动检测（ZSTAD）的新任务设置，其中可以检测到没有在训练中见过的活动。使用 R-C3D 进行设计并采用考虑到活动标签和超类嵌入的创新损失函数对网络进行优化，实验结果对于检测到未知活动方面表现出了良好的性能。

    Mar, 2020

  • UC Merced 征集活动网络挑战 2016

    利用手动载入的运动边界直方图特征和 VGG16、GoogLeNet、C3D 等深层网络的特征，使用线性的 one-versus-rest 支持向量机分类器进行分类任务，并加权平均融合最近的超深度 ResNet-101 的 softmax 得分，从而实现了在 ActivityNet 挑战 2016 中进行长且未修剪视频中的动作识别目标。

    Apr, 2017

  • RGBD 图像中的非结构化人类活动检测

    使用 RGBD 传感器和最大熵隐马尔科夫模型识别人类活动，通过层次化建模的方法，将活动分解为多个子活动，实验结果表明在不同环境下能够识别出 12 种不同的人类活动。

    Jul, 2011

  • 智能家居中基于传感器触发的文本描述的无布局依赖的人类活动识别（TDOST）

    使用环境传感器在智能家居中进行人类活动识别具有人类健康和福祉的多种应用。通过引入一种新颖的面向布局无关的智能家居人类活动识别系统建模方法，利用原始传感器数据的自然语言描述的可转移表示能力，我们在新的智能家居环境下构建通用的人类活动识别模型，并通过对基准 CASAS 数据集的实验验证了 TDOST 模型在未知智能家居中的有效性，并详细分析了我们方法的各个组成部分对下游活动识别性能的影响。

    May, 2024

  • 基于提议的未修剪视频时空动作检测解决方案

    本文提出了一种基于对象检测的两阶段模块化系统，用于在未裁剪的安全视频中进行时空动作检测，第一阶段使用层次聚类和时间抖动技术生成稠密的时空建议，第二阶段是一个 TRI-3D 网络，在生成的提议上执行动作分类和时态细化。实验结果表明本文提出的方法在区分不同时长、空间尺度范围内的动作检测方面效果显著。

    Nov, 2018