我们提出了一种用于捕捉人类和物体的三维运动的单目方案，结合通用动作推断和基于类别的运动扩散模型，在使用极少量的 RGB 相机和物体安装的惯性测量单元（IMU）的新颖环境中，通过综合处理 IMU 信号和 RGB 流重新恢复人体运动和物体运动，从而大幅度提炼初始结果并生成生动的身体、手部和物体运动。

Dec, 2023

本文提出 GraviCap，即一种新的联合无标记 3D 人体动作捕捉和单目 RGB 视频对象轨迹估计的方法。该方法利用重力约束物体运动，可以恢复具有部分观测对象的场景的尺度、对象轨迹、人体骨长和地平面方向。通过添加人对象交互约束，可以提高 3D 重建的几何一致性和改善人体姿势的物理合理性。在一系列新数据集上测试表明，该方法在 3D 人体动作捕捉上具有最先进的准确性。

Aug, 2021

本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

Apr, 2021

本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

Aug, 2020

本文提出了 ChallenCap—— 一种基于模板的方法，利用单个 RGB 相机在新颖的学习和优化框架下，结合多模态参考信息，捕捉复杂的人体三维运动。通过使用两个稀疏视角参考点和无配对基于标记的参考点，结合一个生成网络和运动鉴别器，提出了一个混合运动推断阶段，以数据驱动的方式提取特定的挑战性运动特征。同时，通过运动优化阶段结合监督多模态参考提高跟踪精度。在新的运动挑战数据集上的实验证明了我们的方法的有效性和稳健性。

Mar, 2021

我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。

Apr, 2024

本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

Aug, 2017

将 RGB 图像与惯性信号相结合的实时人体运动捕捉方法通过双坐标策略利用不同目标的 IMU 信号进行完全探索，并引入了隐藏状态反馈机制以应对极端输入情况。定量和定性结果表明，通过精心设计的融合方法，我们的技术在全局方向和局部姿势估计上明显优于最先进的视觉，IMU 和融合方法。

Sep, 2023

本文提出了使用事件相机和基于 CNN 的姿态检测方法的 EventCap 方法，结合了基于模型的优化以及深度网络检测处理，以捕获高速运动细节和减少跟踪漂移。实验结果表明，该方法具有高效准确的优点，并且对于具有挑战性的照明条件具有较强的鲁棒性。

Aug, 2019

本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

Jan, 2017