基于示例指导的视频预测

Jul, 2020

Video Prediction via Example Guidance

Jingwei Xu, Huazhe Xu, Bingbing Ni, Xiaokang Yang, Trevor Darrell

TL;DR本研究提出了一个简单而有效的框架，可以通过利用前序训练数据中的潜在分布来预测合理的未来态势。该框架融合了一种新颖的优化方案，并且在量化和定性方面的实验中得到了显著的提高。同时，我们的方法可以与现有的随机预测模型无缝集成，具有预测未见类别运动的潜力。

Abstract

In video prediction tasks, one major challenge is to capture the multi-modal nature of future contents and dynamics. In this work, we propose a simple yet effective framework that can efficiently predict plausibl

video prediction multi-modal future states optimization generalization

发现论文，激发创造

组合式视频预测

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019

多元未来预测

为了预测智能与健壮的复杂动态环境下未来的多个目标路径，该论文提出了基于概率的框架来学习表示语义多模态未来的潜在变量，其中利用动态基于注意力的状态编码器学习编码智能体之间的交互，可被用于车辆轨迹预测。

Nov, 2019

外观和运动条件下的视频预测

该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

Jul, 2018

用显式的程序化知识引导视频预测

我们提出了一种将领域的程序化知识集成到深度学习模型中的通用方法，并通过基于物体为中心的深度模型对视频预测进行应用，表明这比仅使用数据驱动模型能够获得更好的性能。我们开发了一种使潜在空间解缠结的架构，以利用集成的程序化知识，并建立了一个允许模型在潜在空间中通过视频预测的下游任务学习程序接口的设置。我们将其性能与最先进的数据驱动方法进行对比，并展示了纯数据驱动方法困难的问题可以通过使用领域知识来处理，从而提供了不仅仅是收集更多数据的替代方法。

Jun, 2024

基于变换的大规模数据对抗性视频预测

本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

Mar, 2020

深度学习视频预测技术综述

本文回顾了用于视频序列预测的深度学习方法，定义了视频预测的基础知识、强调其对表示学习的潜在能力和现有的方法，并提供了数据集和实验结果，以评估其在定量基础上的最新技术进展。最后，总结了这一领域的一般结论、未来的研究方向和挑战。

Apr, 2020

视频场景理解的概率未来预测

本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

Mar, 2020

随机对抗视频预测

本文探讨了两种机器学习模型用于生成视频未来帧预测的方法，并将它们相结合得到更真实、多样性更好的预测结果。

Apr, 2018

使用学习的先验知识生成随机视频

本文提出一种无监督视频生成模型，该模型学习给定环境中的不确定性先验模型，通过从先验分布中取样并与未来帧的确定性估计相结合来生成视频帧。该方法方便易行，能够在各种数据集上进行端到端训练，并且即使在很多帧进入未来的情况下，样本生成的结果也经过了充分的测试且清晰度较高，比现有的方法更具优势。

Feb, 2018

SLAMP：随机潜在外观与运动预测

本文介绍了一种基于历史运动数据的视频预测模型，该模型在考虑动态背景的挑战性真实世界自动驾驶数据集上表现优异，相较于现有的随机模型表现显著提升。

Aug, 2021