考虑长期运动趋势的视频预测的状态空间分解模型

Apr, 2024

考虑长期运动趋势的视频预测的状态空间分解模型

State-space Decomposition Model for Video Prediction Considering Long-term Motion Trend

Fei Cui, Jiaojiao Fang, Xiaojiang Wu, Zelong Lai, Mengke Yang...

TL;DR通过自适应分解的方法，我们提出了一种状态空间分解的随机视频预测模型，将整体视频帧生成分解为确定性外观预测和随机运动预测，从而增强模型对动态场景的泛化能力。实验结果表明，我们的模型在多个数据集上优于基线模型。

Abstract

stochastic video prediction enables the consideration of uncertainty in future motion, thereby providing a better reflection of the dynamic nature of the environment. stochastic video prediction methods based on

stochastic video prediction state-space models motion prediction dynamic scenarios long-term trend

发现论文，激发创造

随机潜在残差视频预测

介绍了一种基于残差更新规则的新型随机时间模型，可用于视频预测，并在复杂数据集上胜过先前的最先进方法。

Feb, 2020

SLAMP：随机潜在外观与运动预测

本文介绍了一种基于历史运动数据的视频预测模型，该模型在考虑动态背景的挑战性真实世界自动驾驶数据集上表现优异，相较于现有的随机模型表现显著提升。

Aug, 2021

结构与运动的随机视频预测

本文提出了将视频观察结果分解为静态和动态部分，分别建模于场景结构和车辆主体运动、动态物体运动，来分离结构和运动的影响，从而更好地预测复杂驾驶场景中的未来运动。

Mar, 2022

STDiff: 连续随机视频预测的时空扩散

提出一种新颖的视频预测模型，该模型具有无限维度潜在变量，通过分解视频运动和内容信息，预测时态运动信息，以及在预测的运动特征和前一帧的条件下自回归生成视频帧。此模型具有更好的表达能力和更强的随机性学习能力，达到了最先进的视频预测性能，并能以任意高帧率进行时间连续预测。

Dec, 2023

重新审视分层方法，用于持久长期视频预测

本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

Apr, 2021

随机变分视频预测

本文的目的在于提出一种名为 SV2P 的模型，该模型在真实世界的视频数据中获得了可靠的、有多个可行未来的预测结果，相比于传统的视频预测模型，我们的模型明显提升了预测效果。

Oct, 2017

组合式视频预测

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019

视频的无监督学习长期运动动态

本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

Jan, 2017

使用时间段模型的预测与控制

介绍了一种基于深度生成模型的学习方法，能对非线性系统的动态进行变化预测，针对碰撞、感官噪声和动作延迟进行了建模，并用于基于模型的策略优化。

Mar, 2017

频谱状态空间模型

本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势。

Dec, 2023