开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

本文介绍了一种使用深度神经网络结合物理模拟器对外力作用下物体运动进行预测的方法，并构建了一个大规模的物理运动数据集。实验表明，从单张图片中预测物体受外部力作用下的长期运动是可行的。

Mar, 2016

本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

Sep, 2020

使用智能手机获取视频进行步态分析可以揭示许多临床机会以检测和量化步态障碍。然而，现有视频估计步态参数的方法可能产生不符合物理规律的结果。为了解决这个问题，我们使用强化学习训练一个策略来控制人类运动的物理模拟，以复制视频中观察到的运动。这样可以强制推断的运动具有物理可行性，同时提高步幅和步行速度的准确性。

Feb, 2024

通过模拟物体的物理属性，FORCE 模型引入了一种运动和真实感的多样性，以便细致地描绘人与物体之间的互动。

Mar, 2024

本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法，估计人和物体的 3D 姿势，接触位置，被人类肢体激活的力和扭矩，方法主要集中在联合估计运动和动作力，运用大规模的轨迹优化问题，并且从输入视频自动识别出人与物体或地面之间的接触位置和时间，于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。

Apr, 2019

通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

Sep, 2021

通过半监督的学习方式，本研究在操作机器人通过感知力及学习示范来识别实物属性并生成所需运动的过程中，采用了力传感、从示范学习、无监督数据和触觉表示编码器等关键技术。结果表明，通过预训练，该学习方法在未知海绵上成功地识别了物理属性并生成了期望的擦拭运动，优于其他无预训练方法。此外，通过实际机器人硬件验证了模型生成的运动，并通过在模拟环境中预训练触觉表示编码器，捕捉到了真实物体的属性并提高了实验结果的泛化能力。

Sep, 2023

本文研究了灵巧动作的预测，使用新型的递归神经网络方法进行了行动预测并比较了人类表现，表明了算法预测灵巧行动所作用的力量的能力。

Oct, 2016

本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

Jul, 2020