基于生物力学模型和合成训练数据的视频中的三维运动学估计
通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。
Sep, 2021
最近的研究发展提出了可在 GPU 上加速的适用于机器学习流程的可微分物理模拟器。我们展示了这些模拟器可以用于拟合标记点无遮挡运动捕捉数据的反向运动学，包括缩放模型以适应个体的人体测量值。通过隐式表示的运动轨迹，继而通过正向运动学模型传播，从而最小化重新投影到图像中的 3D 标记点的误差。不同的优化器还提供了其他机会，如在轨迹优化期间添加束调整以细化外部相机参数，或者进行元优化以改善基本模型，并联合使用多个参与者的轨迹。这种方法改善了标记点无遮挡运动捕捉的重新投影误差，并产生了与仪器走道的对照和临床人群相比准确的空间步长参数。
Feb, 2024
通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
该研究提出了一个创新的计算机视觉框架，旨在通过与现有软件的无缝集成来分析工业环境中的人体运动，以增强生物力学分析。该框架利用先进的图像处理和建模技术，通过卷积神经网络（CNNs）、直接线性变换（DLT）和长短期记忆（LSTM）网络准确地检测关键身体节点，重建 3D 标记点，并生成详细的 3D 人体网格。广泛的评估验证了该框架的有效性，在各种动作下与传统基于标记点的模型展示出了可比较的结果，并在关节角度估计和体重、身高估计方面具有精确性。生物力学 - 57 关键骨骼模板的集成进一步增强了该框架的鲁棒性和可靠性。该框架显示出在工业环境中进行细致的生物力学分析的显著潜力，消除了笨重的标记物的需求，并将其用途扩展到包括研究特定外骨骼装置对促进受伤工人迅速返回工作任务的影响在内的各个研究领域。
Apr, 2024
本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。
May, 2019
本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。
May, 2022
本文提出了一种基于多视图图像的直接关节角度估计方法，通过结合体态姿势表示法，将旋转表示法映射到一个连续空间中，为现场运动分析提供了一种新的方法。
Jul, 2023
本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统，采用视角多样的相机捕捉人体动作信息，并通过多种技术手段计算出骨骼变换状况，从而能够高效准确地实现三维骨骼重建与实时动画生成。
Dec, 2022