Jul, 2023

一种用于野外运动环境中跑者性能评估的 X3D 神经网络分析

PDF
TL;DR我们对扩展 3D（X3D）神经网络在体育环境中进行了迁移学习分析，通过运动识别网络来估计运动员在超长距离比赛期间的累计比赛时间（CRT）。我们评估了 X3D 的性能，这是一种扩展小型 2D 图像分类体系结构的行动识别网络，可以沿多个网络轴（包括空间、时间、宽度和深度）扩展。我们证明了该神经网络在短时间内可以提供出色的性能，对于活动时间在 8 到 20 个小时之间的跑步者估计 CRT 的平均绝对误差仅为 12 分钟半。我们最重要的发现是，相较于以前的工作，X3D 在达到更好的精度时所需的内存几乎要少七倍。
发现论文，激发创造
  • A3D：自适应 3D 网络用于视频动作识别

    本文提出了 A3D, 一种自适应 3D 网络，可以在一次训练后适应各种计算约束。通过权衡网络宽度和时空分辨率，生成良好的配置，而无需像网格搜索一样训练多个模型 并且计算成本可以在部署后适应变量约束，例如在边缘设备中。在三个维度上相互训练可以显著提高自适应网络的性能。当采用多路径框架（例如 SlowFast）时，我们的自适应方法可以促进更好的路径折衷，并且在 Kinetics 数据集上的广泛实验证实了该方法的有效性，也验证了性能增益在数据集和任务之间的迁移能力。

    Nov, 2020

  • 扩展结构提高视频识别效率的 X3D

    本文提出了 X3D，一个高效的视频网络家族，可沿多个网络轴（在空间、时间、宽度和深度方面）逐步扩展微小的 2D 图像分类架构。采用类似于机器学习中的特征选择方法的简单逐步网络扩展方法，在每个步骤中扩展单个轴，从而实现对于复杂性的良好准确性权衡。通过向前递推扩展和向后收缩，将 X3D 扩展到特定目标复杂性。与以前的工作相比，X3D 实现了最先进的性能，同时需要较少的乘加和参数。我们最令人惊讶的发现是，具有高空间时间分辨率的网络可以表现出色，同时在网络宽度和参数方面非常轻量化。我们在视频分类和检测基准测试上报告了具有竞争力的准确性，代码将可在此 https URL 上获得。

    Apr, 2020

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • FMM-X3D：基于 FPGA 的 X3D 人体动作识别建模与映射

    本文提出一种新的工具流，可以将在 Human Action Recognition 中获得 95.5% 的 UCF101 基准精度的最先进模型 X3D 映射到任何 FPGA 设备上，并且生成一个经过优化的基于流的硬件系统，使生成的设计在现有的性能 - 精度 pareto 前沿上进一步推进，实现了针对这种复杂模型架构的 Human Action Recognition 任务的目标。

    May, 2023

  • 基于 CNN 的时空表示深度分析用于行为识别

    本文分析基于 2D 或 3D CNN 的视频动作识别方法，比较这些方法之间的区别和进展，并开发了一个统一框架进行公平比较，发现在动作识别方面取得了显著的提高，但准确性未有进展，探究了 2D-CNN 与 3D-CNN 模型在时空表示能力和可传递性方面的相似之处。

    Oct, 2020

  • 利用深度学习进行多媒体数据分类的智能 3D 网络协议

    本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构，用于视频分类和动作识别，在研究方面取得了良好的性能，可以识别出 UCF101 数据集中的动作（准确率达到 95%）

    Jul, 2022

  • 动作检测的结构化模型

    本篇论文提出了一种增强标准 I3D 网络的算法，通过添加跟踪模块和图卷积网络结构，将领域知识融入模型，并在活动行为检测中获得了更好的结果表现。

    Dec, 2018

  • 可重构卷积神经网络实现的三维人体活动识别

    本文提出了一种基于 RGB-D 视频的自动活动识别的深度模型，使用 3D 卷积和最大池化算子，结合激活函数以及学习出活动的时间结构，该模型可以直接作用在原始输入上进行活动分类，而且还允许动态调整模型结构以适应人类活动的时间变化，并在挑战性场景下验证了该方法的优越性，同时还给出了一个大型的 RGB-D 视频人类活动数据库。

    Jan, 2015

  • 快与猛：使用单个卷积神经网络进行实时端到端的三维检测、跟踪和运动预测

    本文提出一种深度神经网络模型，可以在利用 3D 传感器获取的数据的基础上联合推理 3D 检测、跟踪和运动预测，该方法在鸟瞰图表示的 3D 世界上执行时空 3D 卷积，具有高效的特点，并在多个北美城市捕获的超大规模数据集上进行实验，结果显示该方法在性能上大幅领先于现有技术，而且多项任务仅需要 30 毫秒即可完成。

    Dec, 2020

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021