CVPRMar, 2022

自我中心的三维动作目标预测

PDF
TL;DR该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。
object manipulationegocentric visionmultimodality datasetrecurrent neural networksrobotics
发现论文，激发创造
  • 工业场景中的主体视角 RGB + 深度行为识别

    我们的研究集中在认识行为，特别是来自以自我为中心视角的行为，并结合深度模态从工业环境中识别行为。针对现实世界中多模态行为发生的困难，我们提出了一种训练策略，并通过后期融合来结合来自每种模态的预测，这在 MECCANO 数据集上明显优于先前的工作，并在 ICIAP 2023 的多模态行为识别挑战中获得第一名。

    Sep, 2023

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • 单目视频中行人动作的识别和三维定位

    本论文旨在通过单目行人动作识别和以自我为中心的视角进行的 3D 定位，预测行人意图和行动轨迹，通过使用传统 JAAD 和 KITTI 数据集以及 H3D 驾驶数据集的定性测试，展示了所提出的行动识别框架和定位方法的有效性和优越性。

    Aug, 2020

  • 以自我为中心的手部跟踪和基于对象的人类动作识别

    该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。

    May, 2019

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 自我的场景感知人体轨迹预测

    利用身体携带的相机和传感器，通过对用户的视角进行全景导航数据收集，提出了一种基于周围静态场景的人体运动预测方法，该方法利用扩散模型生成潜在的未来轨迹分布，并引入了一种紧凑表示方法来编码用户对环境的视觉记忆，以及一种高效的样本生成技术来加速扩散模型的实时推理。对模型进行了实验和基准测试，结果表明该模型在避免碰撞和轨迹模式覆盖等关键指标上优于现有方法。

    Mar, 2024

  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019

  • 自我视角在视角不变动作识别中的作用

    本文主要研究如何利用佩戴式摄像头所获得的数据进行行为识别。研究发现，使用卷积神经网络进行自我视角识别可以开辟行为识别领域的新研究视角。

    Jun, 2019

  • 从自我中心视频中的三维场景中实例追踪

    借助自我中心传感器，本研究提出了一种新方法来解决三维视角下的物体实例追踪问题，并证明相比二维追踪方法，基于相机姿态和三维坐标的方法显著提高了追踪性能。

    Dec, 2023

  • 基于自我中心视角的未来车辆本体定位技术研究

    本文介绍了一种新颖的方法来同时预测自动驾驶中车辆的位置和规模，这主要是通过使用多流递归神经网络编码器 - 解码器模型来实现，在该模型中，密集的光流加入了捕捉运动和外观变化信息的能力。此外，本文还发现明确建模车辆的未来运动可以提高预测准确性。

    Sep, 2018