Aug, 2023

健壮视频预测器的自然视频序列长期预测

PDF
TL;DR预测高维视频序列是一个异常困难的问题，由于不确定性，给定视频序列的可能未来数量随时间呈指数增长，尤其在从有限世界的快照中预测复杂的自然视频场景时更为明显。本文介绍了一系列改进现有工作的方法，有助于创建鲁棒的视频预测器（RoViPs）。我们通过深度感知和基于不确定性的重建损失的组合，展示了高质量的短期预测能力。利用基于注意力的跳跃连接允许输入特征的长程空间移动，进一步提高性能。最后，我们展示了通过使预测器对其自身的预测错误具有鲁棒性，可以使用迭代的逐步预测任务生成非常长且逼真的自然视频序列。
high dimensional video sequencesuncertaintyrobust video predictorsperceptual and uncertainty-based reconstruction losseslong-term prediction
发现论文，激发创造
  • 重新审视分层方法，用于持久长期视频预测

    本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

    Apr, 2021

  • 通过分层预测学习生成长期未来

    本论文提出了一种层次化方法，以长期预测未来帧，通过预测输入帧中的高级结构，然后预测其未来的演变，并通过观察过去的单个帧和预测的高级结构来构建未来帧，提高了视频预测的效果，并在人类动作的长期像素级视频预测的任务上展现了较好的结果，超过了现有技术水平。

    Apr, 2017

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019

  • 无监督层次化长期视频预测

    本文提出了一种基于神经网络的 Hierarchical Encoder-Decoder 模型，通过对输入帧进行编码，预测高级别的特征，再通过解码器生成预测图像，同时采用了对抗性损失以训练预测器，该方法可以进行 20 秒预测，并在 Human 3.6M 数据集上取得了更好的结果。

    Jun, 2018

  • 基于几何和时间条件的长期期货预测

    该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

    Apr, 2024

  • 基于变换的大规模数据对抗性视频预测

    本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

    Mar, 2020

  • 自然视频中大幅度改变帧的照片真实视频预测

    通过使用深度残差网络结构，利用分层预测和自上而下的连接方法，结合对抗和感性代价函数，提高了基于视频预测的性能以及更真实的图像细节和纹理，特别是在快速相机运动下，未来视频帧的预测性能优于现有基线。

    Mar, 2020

  • 长期图像边界预测

    研究了边界估计和预测未来未观察到帧的边界能力，结合直观物理的概念，通过自然视频帧和合成序列的实验，发现 rgb 融合和边缘预测能够促进 rgb 预测的提升。

    Nov, 2016

  • 生成动态场景的长视频

    本研究提出了一种视频生成模型，通过重新设计时域隐变量表示和学习长期一致性并进行长时间分辨率分别为低和高的两阶段训练策略来优化生成视频的时序一致性，所得的模型经过新的基准数据集的测试，取得了良好的效果。

    Jun, 2022

  • 随机变分视频预测

    本文的目的在于提出一种名为 SV2P 的模型，该模型在真实世界的视频数据中获得了可靠的、有多个可行未来的预测结果，相比于传统的视频预测模型，我们的模型明显提升了预测效果。

    Oct, 2017