本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

Sep, 2020

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

Mar, 2024

我们提出了一种将领域的程序化知识集成到深度学习模型中的通用方法，并通过基于物体为中心的深度模型对视频预测进行应用，表明这比仅使用数据驱动模型能够获得更好的性能。我们开发了一种使潜在空间解缠结的架构，以利用集成的程序化知识，并建立了一个允许模型在潜在空间中通过视频预测的下游任务学习程序接口的设置。我们将其性能与最先进的数据驱动方法进行对比，并展示了纯数据驱动方法困难的问题可以通过使用领域知识来处理，从而提供了不仅仅是收集更多数据的替代方法。

Jun, 2024

该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

Apr, 2021

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019

本文探讨了基于预测未来帧的 CNN-LSTM-deCNN 框架的深度神经网络开发的内部模型，该模型学习了高层次对象特征的丰富内部表示。可以广泛泛化，是一种有效的无监督学习方法。

Nov, 2015

我们提出了一个框架，旨在学习两个连续时间步骤中观察到的图像之间的基本动态。通过估计图像演化的中间阶段，我们的方法关注在保持图像的空间相关性的同时提供可解释性，并通过偏微分方程中表示的物理模型引入潜在动态学变量，确保了所学模型的可解释性并提供了相应图像动态的洞察力。通过对地球科学图像数据进行一系列数值测试，我们证明了我们学习框架的鲁棒性和有效性。

Oct, 2023

该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

Apr, 2024

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016