Mar, 2020

基于变换的大规模数据对抗性视频预测

PDF
TL;DR本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。
adversarial generative modelingvideo predictiondiscriminator decompositionsrecurrent unitskinetics-600 dataset
发现论文，激发创造
  • 复杂数据集上的对抗性视频生成

    本文提出了一种名为 DVD-GAN 的新模型，在复杂的 Kinetics-600 数据集上训练了大量生成对抗网络，成功地生成了高度复杂和逼真的视频图像。该模型通过对其鉴别器进行计算上的简化，可以扩展到更长和更高分辨率的视频中，并且在视频合成和预测方面取得了最新的最先进技术。

    Jul, 2019

  • 自然视频中大幅度改变帧的照片真实视频预测

    通过使用深度残差网络结构，利用分层预测和自上而下的连接方法，结合对抗和感性代价函数，提高了基于视频预测的性能以及更真实的图像细节和纹理，特别是在快速相机运动下，未来视频帧的预测性能优于现有基线。

    Mar, 2020

  • 潜在视频变换器

    本文提出了一种使用潜在空间进行视频生成的方法，采用自回归技术预测未来帧的潜在表示，经实验证明其相较于以前的方法在减少计算资源需求的同时，生成质量也得到了保证。

    Jun, 2020

  • 基于转换的视频序列模型

    本文提出了一种基于无监督方法的视频帧预测技术，相比直接预测未来帧中每个像素点，本文预测未来帧的变换过程，同时提出了一种新的评估协议，该方法在 UCF-101 数据集上进行了验证，在参数和计算成本上更加高效。

    Jan, 2017

  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 自回归视频模型的扩展

    通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

    Jun, 2019

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019

  • 随机对抗视频预测

    本文探讨了两种机器学习模型用于生成视频未来帧预测的方法，并将它们相结合得到更真实、多样性更好的预测结果。

    Apr, 2018

  • 利用多阶段动态生成对抗网络学习生成时间变换视频

    该研究基于 GAN，介绍了一种生成逼真的高分辨率时间流视频的方法，第一阶段生成真实内容的视频，第二阶段利用 Gram 矩阵提高了运动动态和最后生成视频的逼真性。实验证明，该方法优于现有的最新模型。

    Sep, 2017

  • 用于视频未来预测的折叠循环神经网络

    本研究介绍了双射门控循环单元，为计算机视觉中未来视频预测问题提供了一种有效的方法，能够使编码 / 解码器之间的状态共享并减少计算成本，达到了与最优方法相当的性能。

    Dec, 2017