Jan, 2024

智能手表和头戴式摄像头的轻量级动作捕捉

PDF
TL;DR通过两个智能手表和一个头戴相机，我们提出了一种轻量级且经济实惠的动作捕捉方法，与使用六个或更多专业级 IMU 设备的现有方法相比，我们的方法更具成本效益和便利性，能够使可穿戴式动作捕捉技术普及化，实现在不同环境中的 3D 全身动作捕捉。同时，我们还引入了从头戴相机获取的 6D 头部姿势，以克服传感器输入的稀疏性和模糊性，并提出了一种跟踪和更新楼层变化来定义头部姿势的算法，以及一个多阶段的基于 Transformer 的回归模块。此外，我们还引入了利用自我中心图像的视觉线索来进一步提高动作捕捉质量并减少模糊性的新策略。我们在包括复杂的室外环境和多个个体之间的物体交互和社交互动在内的各种具有挑战性的场景中展示了我们方法的性能。
motion capturewearablesmartwatcheshead-mounted camerasensor inputs
发现论文，激发创造
  • Mo2Cap2：配备鱼眼镜头的帽式相机实时移动三维运动捕捉

    提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

    Mar, 2018

  • EgoCap：使用两个鱼眼相机的自我中心无标记运动捕捉

    采用鱼眼相机进行骨骼姿态估计的实时无标记头盔运动捕捉的新方法，使用户能够在室内外和拥挤的场景中进行自由移动和交互，并创建运动捕捉的虚拟身体。

    Sep, 2016

  • HybridCap: 惯性辅助的单目捕捉具有挑战性的人体运动

    本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

    Mar, 2022

  • 多深度相机实时人体运动捕捉

    本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法，通过使用最近的图像分割技术和纯合成数据进行课程学习，实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时，我们介绍了一个包含约 6 百万合成深度帧的新数据集，并超过了 Berkeley MHAD 数据集的最新结果。

    May, 2016

  • EgoCap: 两个鱼眼相机实现无标记主观动作捕捉（扩展摘要）

    提出一种新的方法，可以在室内和室外等各种场景下，实时地通过佩戴在头盔或虚拟现实头戴式显示器上的轻量级鱼眼立体相机，使用生成式姿势估计和基于 ConvNet 的身体部位检测器，无需标记，从而捕捉全身运动。

    Dec, 2016

  • PhysCap: 实时单目 3D 运动捕捉的物理可信解决方案

    本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

    Aug, 2020

  • SportsCap：具挑战性运动视频中单目 3D 人体动作捕捉与细粒度理解

    本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

    Apr, 2021

  • 使用无人机进行人体动作捕捉

    本篇论文介绍一种基于无人机的运动捕捉系统，该系统利用机载 RGB 相机可以在各种室内和室外环境中进行使用，采用重构算法从无人机拍摄的视频中恢复全身运动，同时评估了该系统的准确性及其在消费无人机中的实用性。

    Apr, 2018

  • 拉拉・夏克提・斯瓦鲁普・雷，周波，苏成镐，保罗・卢科维奇

    为帮助智能可穿戴设备研究人员选择最佳的动作捕捉（MoCap）的真实方法，我们提出了一个特定的基於衣物的基准测试，DrapeMoCapBench（DMCB），专门用于评估基于光学标记和无标记的 MoCap 的性能。DMCB 利用大量的真实世界记录的 MoCap 数据集并进行平行的三维物理模拟，包括六级的紧身及松弛程度、三个级别的动作和六种体型 - 性别组合，以评估基于光学标记和低成本的无标记 MoCap 方法在不同场景下的性能，并得出结论无标记 MoCap 在日常活动中稍微优于标记 MoCap，成为可穿戴研究中一种可取且具有成本效益的选择。

    Jul, 2023

  • 基于多视角摄像机的无标记身体运动捕捉技术用于 3D 角色动画制作

    本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统，采用视角多样的相机捕捉人体动作信息，并通过多种技术手段计算出骨骼变换状况，从而能够高效准确地实现三维骨骼重建与实时动画生成。

    Dec, 2022