本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

本文提出了将视频观察结果分解为静态和动态部分，分别建模于场景结构和车辆主体运动、动态物体运动，来分离结构和运动的影响，从而更好地预测复杂驾驶场景中的未来运动。

Mar, 2022

该研究提出了一种新的数据驱动的、随机的运动综合方法 SAMP，该方法可以模拟在杂乱场景中表现不同风格的行为，通过训练 MoCap 数据可以实现优秀的表现。

Aug, 2021

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。

May, 2019

我们提出了一种物体为中心的模型，使用图神经网络中的对比学习在潜在空间中预测未来的状态，并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用，而且能够提高物体位置的定位能力，且实验表明我们的模型在多个领域中具有显著的优势。

Jul, 2021

提出了 STEVE，一种基于无监督学习的视频物体聚焦模型，通过使用基于 Transformer 的图像解码器进行重建观察来实现了对复杂和自然视频的有效性验证，并取得了显著的改进效果。

May, 2022

通过自适应分解的方法，我们提出了一种状态空间分解的随机视频预测模型，将整体视频帧生成分解为确定性外观预测和随机运动预测，从而增强模型对动态场景的泛化能力。实验结果表明，我们的模型在多个数据集上优于基线模型。

Apr, 2024

本文研究了无监督的物体发现问题。引入了 POD-Net 模型，通过物理学原理，从视频中精确提取出各个物体的 3D 几何和位置，同时推断物体的属性，从而可以用于推断物理事件。

Jul, 2020

本文介绍了一种端到端的无监督深度学习框架，基于录制的视频可以揭示物体运动的明确控制方程，在物理坐标系中建立其物理规律，并通过数值积分器和稀疏回归模块，同时解决了文献中尚无现有方法适用的问题，并成功地应用于几个动态系统的记录。

May, 2022