Jul, 2016

视觉动态：通过交叉卷积网络进行概率未来帧合成

PDF
TL;DR通过提出的概率模型和交叉卷积网络，我们可以从单个输入图像中合成多个可能的未来帧，该方法在合成 2D 图形和实际视频方面表现良好，并可用于视觉类比制作。
future frame synthesisprobabilistic modelingcross convolutional networkimage and motion understandingvisual analogy-making
发现论文，激发创造
  • 视觉动力学：基于分层交叉卷积网络的随机未来生成

    该研究提出采用概率建模的方法，基于图像和动态信息，使用交叉卷积网络结构来合成多个可能的未来帧，并能够实现物体运动的真实感合成和学习出物体的外观与运动的紧凑编码。同时，提出了可视类比和视频外推等应用方案。

    Jul, 2018

  • 未来流嵌入视频预测的双运动 GAN

    本文开发了一个双模 GAN 架构，采用双学习机制，明确地执行未来帧预测与视频中像素流的一致性，该模型通过新的概率运动编码器处理不同像素位置的自然运动不确定性，并使用对抗训练确保未来帧的预测及光流的预测具有真实感，实验证明该模型性能明显优于最先进的方法，具有较强的泛化能力。

    Aug, 2017

  • 利用物体运动预测实现未来视频合成

    利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

    Apr, 2020

  • 卷积编解码神经网络实现一步时变视频未来帧预测

    本文讨论了使用卷积神经网络预测自主汽车，无人机和其他机器人的未来出现，实现了可以在任意时间预测未来外观的功能。

    Feb, 2017

  • 深度多尺度视频预测：超越均方误差

    通过卷积网络、对抗训练和特征学习等策略，实现了未来图像预测

    Nov, 2015

  • 自然视频中大幅度改变帧的照片真实视频预测

    通过使用深度残差网络结构，利用分层预测和自上而下的连接方法，结合对抗和感性代价函数，提高了基于视频预测的性能以及更真实的图像细节和纹理，特别是在快速相机运动下，未来视频帧的预测性能优于现有基线。

    Mar, 2020

  • 动作检测的预测 - 校正网络

    本研究提出了一种基于线性动态系统和非线性映射理论的预测 - 纠正神经网络模型，能够自适应地关注‘惊奇’的视频帧，优化学习效率。研究表明，该模型在三个挑战数据集上的表现与双流网络相当，而无需计算昂贵的光流技术。

    Apr, 2017

  • 多尺度深度损失函数和生成式对抗网络的帧插值

    本文提出了一种基于多尺度生成对抗网络的视频插帧算法（FIGAN），并通过构建粗到细的多尺度残差估计模块以及联合多级感知损失函数的方法，在算法效率和插帧视频的视觉质量两方面取得了较好的结果。

    Nov, 2017

  • FutureGAN: 使用渐进式增长的 GAN 模型和时空 3D 卷积预测视频序列的未来帧

    本文介绍了一种新的编码器 - 解码器对抗生成网络模型 FutureGAN，它可以在过去一段时间的视频帧的基础上预测未来的帧，采用了视空间 3D 卷积，扩展了渐进式 GAN 的概念，并且在 MovingMNIST，KTH Action 和 Cityscapes 三个数据集上进行了实验，并取得了与最先进技术相媲美的结果。

    Oct, 2018

  • 在条件随机网络下进行多模式运动预测

    本文提出一种基于随机神经网络架构来处理多样性数据分布的方法，并通过实验验证应用于处理物体轨迹、人体关节轨迹和视频预测等问题中，取得了较好的实验效果。

    May, 2017