Apr, 2018

随机对抗视频预测

PDF
TL;DR本文探讨了两种机器学习模型用于生成视频未来帧预测的方法，并将它们相结合得到更真实、多样性更好的预测结果。
future predictionlatent variable modelsadversarially-trained modelsstochasticityrepresentation learning
发现论文，激发创造
  • 随机变分视频预测

    本文的目的在于提出一种名为 SV2P 的模型，该模型在真实世界的视频数据中获得了可靠的、有多个可行未来的预测结果，相比于传统的视频预测模型，我们的模型明显提升了预测效果。

    Oct, 2017

  • 随机潜在残差视频预测

    介绍了一种基于残差更新规则的新型随机时间模型，可用于视频预测，并在复杂数据集上胜过先前的最先进方法。

    Feb, 2020

  • 基于变换的大规模数据对抗性视频预测

    本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

    Mar, 2020

  • 使用学习的先验知识生成随机视频

    本文提出一种无监督视频生成模型，该模型学习给定环境中的不确定性先验模型，通过从先验分布中取样并与未来帧的确定性估计相结合来生成视频帧。该方法方便易行，能够在各种数据集上进行端到端训练，并且即使在很多帧进入未来的情况下，样本生成的结果也经过了充分的测试且清晰度较高，比现有的方法更具优势。

    Feb, 2018

  • 改进的条件性 VRNNs 用于视频预测

    本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

    Apr, 2019

  • VideoFlow: 用于随机视频生成的条件流模型

    我们提出了一种基于归一化流的多帧视频预测方法，可以直接优化数据可能性并生成高质量的随机预测，该方法可以实现对于视频生成建模的可行且竞争性的方法。

    Mar, 2019

  • 基于随机帧预测的视觉表示学习

    通过预测未来帧进行图像表示的无监督学习是一个有前景的方向，但仍然面临挑战。为了解决这一挑战，在本文中，我们重新审视了学习捕捉帧预测的不确定性的随机视频生成的思想，并探索了其在表示学习中的有效性。我们设计了一个框架，训练一个随机帧预测模型，学习帧之间的时间信息。此外，为了学习每一帧中的密集信息，我们引入了一个辅助的带蒙版图像建模目标，以及一个共享的解码器架构。我们发现这种架构能够以协同和高效的方式结合两个目标。我们在视频标签传播和基于视觉的机器人学习领域展示了我们框架的有效性，如视频分割、姿态跟踪、基于视觉的机器人运动和操作任务等。项目网页提供了代码：this https URL。

    Jun, 2024

  • 组合式视频预测

    本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

    Aug, 2019

  • 视频场景理解的概率未来预测

    本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

    Mar, 2020

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019