ICCVAug, 2017

未来流嵌入视频预测的双运动 GAN

PDF
TL;DR本文开发了一个双模 GAN 架构，采用双学习机制，明确地执行未来帧预测与视频中像素流的一致性，该模型通过新的概率运动编码器处理不同像素位置的自然运动不确定性，并使用对抗训练确保未来帧的预测及光流的预测具有真实感，实验证明该模型性能明显优于最先进的方法，具有较强的泛化能力。
future frame predictionunsupervised video representation learningdual motion generative adversarial netpixel-wise flowsvariational autoencoders
发现论文，激发创造
  • FutureGAN: 使用渐进式增长的 GAN 模型和时空 3D 卷积预测视频序列的未来帧

    本文介绍了一种新的编码器 - 解码器对抗生成网络模型 FutureGAN，它可以在过去一段时间的视频帧的基础上预测未来的帧，采用了视空间 3D 卷积，扩展了渐进式 GAN 的概念，并且在 MovingMNIST，KTH Action 和 Cityscapes 三个数据集上进行了实验，并取得了与最先进技术相媲美的结果。

    Oct, 2018

  • 利用多阶段动态生成对抗网络学习生成时间变换视频

    该研究基于 GAN，介绍了一种生成逼真的高分辨率时间流视频的方法，第一阶段生成真实内容的视频，第二阶段利用 Gram 矩阵提高了运动动态和最后生成视频的逼真性。实验证明，该方法优于现有的最新模型。

    Sep, 2017

  • 外观和运动条件下的视频预测

    该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

    Jul, 2018

  • 基于变换的大规模数据对抗性视频预测

    本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

    Mar, 2020

  • 视觉动态：通过交叉卷积网络进行概率未来帧合成

    通过提出的概率模型和交叉卷积网络，我们可以从单个输入图像中合成多个可能的未来帧，该方法在合成 2D 图形和实际视频方面表现良好，并可用于视觉类比制作。

    Jul, 2016

  • 基于流场的静态图像空时视频预测

    本研究探讨基于单张静态图片生成连续多个未来视频帧的问题，提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系，预测的结果更加接近真实视频的流形形态，相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。

    Jul, 2018

  • 姿态决定一切：通过生成姿态预测实现视频预测

    该论文提出了一种基于高层抽象建模视频预测问题的方法，利用人体姿态探测器作为监督信号，将视频预测问题分解为两个离散步骤，明确建模场景中的高层次结构，使用变分自编码器 (VAE) 建模场景中活动对象的潜在未来运动，并将生成的未来姿势作为条件输入给生成对抗网络 (GAN) 预测未来视频帧，该方法通过呈现的定量和定性评估表明，其优于时下流行的视频预测方法。

    Apr, 2017

  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 基于卷积变换器和双重鉴别器的生成对抗网络，用于视频异常检测

    本文介绍了一种基于卷积变换器、双鉴别器生成对抗网络（CT-D2GAN）的非监督式视频异常检测方法，该方法在未来帧预测和对视频的局部和全局建模方面取得了显著的效果。

    Jul, 2021

  • 自然视频中大幅度改变帧的照片真实视频预测

    通过使用深度残差网络结构，利用分层预测和自上而下的连接方法，结合对抗和感性代价函数，提高了基于视频预测的性能以及更真实的图像细节和纹理，特别是在快速相机运动下，未来视频帧的预测性能优于现有基线。

    Mar, 2020