自然视频序列预测的动作与内容分解

ICLRJun, 2017

自然视频序列预测的动作与内容分解

Decomposing Motion and Content for Natural Video Sequence Prediction

Ruben Villegas, Jimei Yang, Seunghoon Hong, Xunyu Lin, Honglak Lee

TL;DR提出了一种利用深度神经网络预测自然视频序列未来帧的方法，通过运动和内容分解进行像素级预测，该模型基于编码器 - 解码器卷积神经网络和卷积 LSTM，同时独立捕捉图像的空间布局和相应的时间动态，并在多个时间步长上进行端到端训练。

Abstract

We propose a deep neural network for the prediction of future frames in natural video sequences. To effectively handle complex evolution of pixels in videos, we propose to decompose the motion and content, two key components generating dynamics in videos. Our model is built upon the En

deep neural network motion and content decomposition encoder-decoder convolutional neural network convolutional lstm pixel-level prediction

发现论文，激发创造

卷积序列到序列模型用于人类行为动态

基于卷积神经网络和编码器 - 解码器结构，提出了一种新颖的人体运动建模方法，并在 Human3.6M 和 CMU Motion Capture 数据集上取得了更准确的预测结果。

May, 2018

学习语义感知动态视频预测

该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

Apr, 2021

视频压缩的学习

本文提出了 PixelMotionCNN 的概念，并采用基于学习的框架进行视频压缩，该框架包括迭代分析 / 综合，二值化等组件，实验结果表明该方案与 H.264 编解码器具有相当的性能表现，为未来视频编码的进一步提高压缩效率和功能提供了可能的新方向。

Apr, 2018

自然视频中大幅度改变帧的照片真实视频预测

通过使用深度残差网络结构，利用分层预测和自上而下的连接方法，结合对抗和感性代价函数，提高了基于视频预测的性能以及更真实的图像细节和纹理，特别是在快速相机运动下，未来视频帧的预测性能优于现有基线。

Mar, 2020

视频的无监督学习长期运动动态

本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

Jan, 2017

组合式视频预测

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019

卷积编解码神经网络实现一步时变视频未来帧预测

本文讨论了使用卷积神经网络预测自主汽车，无人机和其他机器人的未来出现，实现了可以在任意时间预测未来外观的功能。

Feb, 2017

考虑长期运动趋势的视频预测的状态空间分解模型

通过自适应分解的方法，我们提出了一种状态空间分解的随机视频预测模型，将整体视频帧生成分解为确定性外观预测和随机运动预测，从而增强模型对动态场景的泛化能力。实验结果表明，我们的模型在多个数据集上优于基线模型。

Apr, 2024

MoCoGAN: 视频生成的运动与内容分解

本文提出了一种 MoCoGAN 框架，利用运动和内容分解，通过映射一系列随机向量到一系列视频帧来生成视频，采用新型的对抗学习方案，使用图像和视频鉴别器，进行无监督学习，实现运动和内容分解。实验证明了 MoCoGAN 框架具有出色的效果，它不仅可以生成内容相同但运动不同的视频，还可以生成内容不同但运动相同的视频。

Jul, 2017

利用物体运动预测实现未来视频合成

利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

Apr, 2020