该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

Apr, 2024

本文讨论了使用卷积神经网络预测自主汽车，无人机和其他机器人的未来出现，实现了可以在任意时间预测未来外观的功能。

Feb, 2017

本文介绍了一种新的任务，即预测未来帧的语义分割，并研发了一种基于自回归卷积神经网络的方法。该方法针对城市街景数据集进行了试验，结果表明，直接预测未来的分割比预测并分割未来的 RGB 帧要好得多，并且可信度更高。

Mar, 2017

本研究探讨基于单张静态图片生成连续多个未来视频帧的问题，提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系，预测的结果更加接近真实视频的流形形态，相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。

Jul, 2018

提出了一种基于编码器 - 解码器网络的视频未来语义分割预测方法，使用先前的视频帧，仅利用 RGB 数据，利用知识蒸馏的训练框架预测未来场景的语义分割，并在 Cityscapes 和 Apolloscape 上取得了比基线和现有最先进方法更好的结果。

Apr, 2019

为了预测智能与健壮的复杂动态环境下未来的多个目标路径，该论文提出了基于概率的框架来学习表示语义多模态未来的潜在变量，其中利用动态基于注意力的状态编码器学习编码智能体之间的交互，可被用于车辆轨迹预测。

Nov, 2019

提出了两种方法来进行视频动作的长期预测。使用卷积神经网络和循环神经网络进行学习，能够生成准确的未来预测甚至在包含大量不同动作的长视频中也可以处理噪音或错误的输入信息。

Apr, 2018

该论文综述了视频预测领域的历史和现代工作，包括广泛应用的数据集和算法，并提出了一个以视频预测算法的随机性为中心的新的分类方法。该分类方法强调了从确定性到生成性预测方法的渐进转变，突显了方法的重大进展和转变。

Jan, 2024

利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

Apr, 2020

该论文提出了一种在视频预测框架内解决异常检测问题的方法，利用预测未来画面与真实画面之间的差异来检测异常事件，并引入了空间和运动约束来促进正常事件的未来帧预测和识别不符合预期的异常事件。

Dec, 2017