Aug, 2019

EventCap: 使用事件相机进行单目高速人体动作的三维捕捉

PDF
TL;DR本文提出了使用事件相机和基于 CNN 的姿态检测方法的 EventCap 方法，结合了基于模型的优化以及深度网络检测处理，以捕获高速运动细节和减少跟踪漂移。实验结果表明，该方法具有高效准确的优点，并且对于具有挑战性的照明条件具有较强的鲁棒性。
high-speed motionevent camerahuman pose detectiondata efficiencychallenging lighting conditions
发现论文，激发创造
  • EventEgo3D：从主观事件流中进行的 3D 人体动作捕捉

    使用单眼自我中心 3D 人体动作捕捉问题，该文介绍了基于事件相机和鱼眼镜头的 3D 人体动作捕捉方法，并开发了 EE3D 框架，具有高 3D 重建准确度和实时 3D 姿势更新速率。

    Apr, 2024

  • 使用动态事件相机进行 3D 人体扫描

    本文提出了一种新的基于事件的方法，用于 3D 姿态估计和人体网格恢复，通过移动事件相机，通过衰减光线雕刻 3D 体素，重建人体姿态和网格，并拟合统计身体模型，实验结果表明该方法在姿态和身体网格估计精度方面优于传统基于帧的方法。

    Apr, 2024

  • SportsCap：具挑战性运动视频中单目 3D 人体动作捕捉与细粒度理解

    本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

    Apr, 2021

  • Mo2Cap2：配备鱼眼镜头的帽式相机实时移动三维运动捕捉

    提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

    Mar, 2018

  • 从单目视觉中捕捉人类表演

    本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

    Aug, 2017

  • HiFECap：单目高保真和表现力人体动作捕捉

    HiFECap 是新的神经人员表现捕捉方法，从单个 RGB 视频中同时捕捉人体姿态、服装、面部表情和手部姿势。该方法表现优于现有表现捕捉方法，首次捕捉到人体的全部细节。

    Oct, 2022

  • ChallenCap: 使用多模参考实现具有挑战性的人类表现的单目 3D 捕捉

    本文提出了 ChallenCap—— 一种基于模板的方法，利用单个 RGB 相机在新颖的学习和优化框架下，结合多模态参考信息，捕捉复杂的人体三维运动。通过使用两个稀疏视角参考点和无配对基于标记的参考点，结合一个生成网络和运动鉴别器，提出了一个混合运动推断阶段，以数据驱动的方式提取特定的挑战性运动特征。同时，通过运动优化阶段结合监督多模态参考提高跟踪精度。在新的运动挑战数据集上的实验证明了我们的方法的有效性和稳健性。

    Mar, 2021

  • EventHPE: 基于事件的三维人体姿态与形状估计

    本研究提出了一种基于事件相机的两阶段深度学习方法 EventHPE，用于从事件信号中估计 3D 人体姿态和形状，其中第一阶段 FlowNet 通过非监督学习推断光流，而 ShapeNet 通过最大化流一致性从事件信号和光流估计 3D 人体形状，并在内部构建了一个 3D 人体数据集进行实证评估。

    Aug, 2021

  • PhysCap: 实时单目 3D 运动捕捉的物理可信解决方案

    本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

    Aug, 2020

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018