UC Merced 征集活动网络挑战 2016
提出了一种新的方法,通过全局特征分析,预测未裁剪视频的前 k 个标签,并结合动态规划实现带时序约束的活动检测。该方法可用于未裁剪视频分类模型的时间检测。
Jul, 2016
本文介绍了我们提交至 ActivityNet Challenge 2016 非修剪视频分类任务的方法。我们使用基于时间段网络的基本流程,并通过其他技术提高模型性能。我们使用最新的深度模型体系结构,如 ResNet 和 Inception V3,并引入了新的聚合方案(top-k 和注意力加权池化)。此外,我们以音频作为补充通道,通过应用于频谱图的卷积神经网络提取相关信息。通过这些技术,我们导出了一个深度模型集合,它们共同在测试集上取得了高分类精度(mAP 93.23%),并获得了挑战赛的第一名。
Aug, 2016
本文介绍了一种新的弱监督架构,称为 UntrimmedNet,它可以直接从未剪辑的视频中学习动作识别模型,无需动作实例的时间注释。我们的 UntrimmedNet 通过两个重要组件实现,分类模块和选择模块,分别用于学习动作模型和推理动作实例的时间持续性。虽然我们的 UntrimmedNet 仅采用弱监督,但我们的方法在 THUMOS14 和 ActivityNet 两个数据集上的性能优于或可与那些强监督方法相媲美。
Mar, 2017
本研究旨在提出一种基于时间卷积网络的新型提议模型以解决时间行为定位中行为提议的低质量问题,并在该领域取得了最先进的性能结果。
Jul, 2017
本篇论文介绍我们针对 Activitynet Challenge 2018 中的两个任务 ——trimmed activity recognition (Kinetics) 和 trimmed event recognition (Moments in Time),所采用的基于 non-local 神经网络和 temporal segment 网络的多模态方法,并使用新型的 non-local-based 模型以提高识别准确性,最终我们通过模型融合在 Kinetics 验证集中取得了 83.5% 的 top-1 准确度和 96.8% 的 top-5 准确度,在 MIT 验证集中则取得了 35.81% 的 top-1 准确度和 62.59% 的 top-5 准确度。
Jun, 2018
提出一种新的基于弱监督框架,通过利用注意力机制定位动作帧同时识别未修剪视频中的动作,利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验,实验证明了该方法的有效性。
Feb, 2019
本文提出了一种通用的框架,利用新颖的提案方案和级联分类管道从未修剪的视频中准确检测各种活动,超越了现有最先进方法在 THUMOS14 和 ActivityNet 数据集上的表现。
Mar, 2017
本文提出了一种名为 Action Machine 的基于人物框架的行为识别方法,通过将 Inflated 3D ConvNet (I3D) 与人体姿态估计和基于姿态的行为识别相结合,实现了在裁剪视频中的高性能行为识别,并在多个数据集上取得了 State-of-the-Art 的表现。
Dec, 2018
本文提出了一种新的多模态转换器网络,用于检测未修剪视频中的动作,利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性,并提出一种算法来纠正相机运动引起的动态变形,该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法,在我们的新教育活动数据集上进行了比较实验,该数据集包括从小学捕捉的大量具有挑战性的课堂视频。
May, 2023
本文提出了一种基于 U-Net 的 HAR 算法,通过将加速度计的活动数据映射为具有单像素列和多通道的图像输入到神经网络进行训练和识别,从而实现像素级姿态识别,无需手动特征提取,能够有效识别长期活动序列中的短期行为,与其他六种机器学习方法相比,该算法在各数据集中具有最高的准确性和 F1 得分,并具有稳定表现和高鲁棒性,同时实现了快速识别速度。
Sep, 2018