DROP: 从人体运动先验和投影动力学的动力响应
本文提出了一种动态未来网络，通过构建具有非平凡建模能力的生成模型来显式关注运动异质性，在限定数据量的情况下，生成大量高质量、任意时间持续、在时空上具有令人信服的变化的运动，取得了优越的定性和定量结果。
Aug, 2020
该研究介绍了一种控制人类行为综合和转移的模型，该模型学习了一个独立于姿势的人体动态专用表示。使用这个表示，可以改变任何姿势下的一个人的行为，或者直接转移给定视频序列中观察到的行为。
Mar, 2021
通过前向动力学引导的 4D 模仿方法，我们提出了一种生成物理可行的人类反应的方法，该学习策略能够在实时中生成物理可行和类人的反应，显著提高了反应的速度（33 倍）和质量，与现有方法相比。我们在 InterHuman 和 Chi3D 数据集上的实验及消融研究证明了我们方法的有效性。
Apr, 2024
我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。
Sep, 2023
我们调查了人体运动预测中的一个新任务，即预测可能涉及多人的意外物理扰动下的运动。与现有研究相比，这个任务涉及预测非受控的、非预谋的和纯反应式的运动，以应对外部冲击以及这样的运动如何在人之间传播。我们提出了一种新方法，利用微分物理和深度神经网络，提出了一个显式的潜在微分物理（LDP）模型。通过实验证明，LDP 具有高数据效率、出色的预测准确性、强大的泛化能力和良好的可解释性。由于没有类似的研究，我们从几个相关领域进行了全面的比较，包括 11 个已适应的基线模型，结果显示 LDP 在定量和定性上都优于现有研究，其预测准确度提高了 70%，并且显示出显著更强的泛化能力。
Mar, 2024
本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。
Jun, 2021
通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。
Sep, 2021
将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。
Aug, 2023
通过基于物理原理的方法，我们提出了 PhysDreamer，它能够使静态的 3D 对象能够以虚拟实境中真实的方式动态地响应交互刺激，实现了更加引人入胜和逼真的虚拟体验。
Apr, 2024