Feb, 2024

可微生物力学打开无标点运动捕捉的机会

PDF
TL;DR最近的研究发展提出了可在 GPU 上加速的适用于机器学习流程的可微分物理模拟器。我们展示了这些模拟器可以用于拟合标记点无遮挡运动捕捉数据的反向运动学，包括缩放模型以适应个体的人体测量值。通过隐式表示的运动轨迹，继而通过正向运动学模型传播，从而最小化重新投影到图像中的 3D 标记点的误差。不同的优化器还提供了其他机会，如在轨迹优化期间添加束调整以细化外部相机参数，或者进行元优化以改善基本模型，并联合使用多个参与者的轨迹。这种方法改善了标记点无遮挡运动捕捉的重新投影误差，并产生了与仪器走道的对照和临床人群相比准确的空间步长参数。
发现论文，激发创造
  • 基于生物力学模型和合成训练数据的视频中的三维运动学估计

    提出了一种基于生物力学的新型网络，利用两个输入视图直接输出三维运动学，通过合成数据集 ODAH 进行训练，实验证明该方法在多个数据集上超过了现有先进方法，为提升基于视频的人体动作捕捉提供了有前景的方向。

    Feb, 2024

  • 噪声输入，偏差输出：平衡和实时的动作捕捉求解

    运用机器学习技术解决实时光学动作捕捉系统面临的挑战，包括通过模型训练解决标记估计的噪声问题、训练数据的获取和分布问题，实现即使使用稀疏的廉价传感器仍能提供稳健的基于标记的动作捕捉；通过采用统一的表示方法，以无标记动作捕捉的进展获取所需数据；通过改进的逆向运动学解决方案来考虑测量和推理的不确定性，进一步提高性能和稳健性。

    Sep, 2023

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • 运用数字感知技术进行人类生物力学过程的远程感知和分析：一种非接触式负荷和关节力量评估方法

    该研究提出了一个创新的计算机视觉框架，旨在通过与现有软件的无缝集成来分析工业环境中的人体运动，以增强生物力学分析。该框架利用先进的图像处理和建模技术，通过卷积神经网络（CNNs）、直接线性变换（DLT）和长短期记忆（LSTM）网络准确地检测关键身体节点，重建 3D 标记点，并生成详细的 3D 人体网格。广泛的评估验证了该框架的有效性，在各种动作下与传统基于标记点的模型展示出了可比较的结果，并在关节角度估计和体重、身高估计方面具有精确性。生物力学 - 57 关键骨骼模板的集成进一步增强了该框架的鲁棒性和可靠性。该框架显示出在工业环境中进行细致的生物力学分析的显著潜力，消除了笨重的标记物的需求，并将其用途扩展到包括研究特定外骨骼装置对促进受伤工人迅速返回工作任务的影响在内的各个研究领域。

    Apr, 2024

  • 可微关节式三维人体动作重建动力学

    DiffPhy 是一种可微的基于物理的模型，用于从视频重建人体的关节 3D 运动，可通过基于图像的损失函数进行直接梯度优化

    May, 2022

  • 基于图形的轨迹预测的差分约束运动模型评估

    研究了在自动驾驶中，配合基于图神经网络的支持物理运动模型的数据驱动方法的表现，结果表明，相比于动力学模型，更简单的低阶积分器模型更具优势，并且更高阶的数值求解器可以显著提高预测准确性。

    Apr, 2023

  • 使用单个 RGBD 相机的实时、准确及开源的上肢肌肉骨骼分析

    使用单个低成本 RGBD 摄像头的生物力学方法，可提供高精度的上肢运动学重建和全面上肢生物力学研究的潜力。

    Jun, 2024

  • 基于多视角摄像机的无标记身体运动捕捉技术用于 3D 角色动画制作

    本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统，采用视角多样的相机捕捉人体动作信息，并通过多种技术手段计算出骨骼变换状况，从而能够高效准确地实现三维骨骼重建与实时动画生成。

    Dec, 2022

  • 多深度相机实时人体运动捕捉

    本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法，通过使用最近的图像分割技术和纯合成数据进行课程学习，实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时，我们介绍了一个包含约 6 百万合成深度帧的新数据集，并超过了 Berkeley MHAD 数据集的最新结果。

    May, 2016

  • gradSim: 用于系统辨识与视觉模式控制的可微分模拟

    本文提出 gradSim 框架，通过可微分的多物理模拟和可微分的渲染来联合模拟场景动态和图像生成的演化，从而将像素级反向传播到生成它们的基础物理属性，以实现对物体质量、摩擦力和弹性等物理属性的直接估计。该框架克服了 3D 监督的依赖，并在具有挑战性的视觉运动控制任务中获得了具有竞争力甚至比依赖于精确的 3D 标签的技术更好的性能。

    Apr, 2021