时间上一致的语义视频编辑
本文提出了一种基于对生成对抗网络的理解和神经网络学习低频功能的能力,使用 StyleGAN 对视频中的面部进行语义编辑,提高了当前最先进技术水平,实现了有意义的面部操作,保持了更高程度的时间连贯性,并可应用于高质量的 Talking Head 视频中。
Jan, 2022
提出一种新的方法 EditGAN,通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑,同时利用生成对抗网络和条件潜空间优化来实现编辑。
Nov, 2021
本研究提出了一种新的视频合成方法,通过将空间域和时间域分离,利用预训练的 StyleGAN 网络的潜在空间进行训练,成功地生成了高质量的人像视频,并显著降低了所需训练数据和资源的数量。
Jul, 2021
本文提出了一种生成式模型 Temporal Generative Adversarial Nets(TGAN),用于学习未标记视频的语义表示,并能够生成视频。我们的模型利用两种不同类型的生成器:时间生成器和图像生成器,解决了利用现有的基于 GAN 的方法生成视频时存在的问题。为了稳定训练,我们采用了最近提出的 Wasserstein GAN 模型,并提出了一种稳定的端到端训练方法。实验结果表明了我们方法的有效性。
Nov, 2016
本文中,我们提出了一个新颖的基于标题的时序生成对抗网络(TGANs-C)来生成视频,该网络结合了数据的语义和时间上的一致性。我们通过定性和定量实验验证了我们的提议,并展示了在给定标题的情况下生成逼真视频的能力。
Apr, 2018
本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法,可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频,此方法成功优化了视频生成技术的最新发展状态,并被应用于未来视频预测。
Aug, 2018
本文提出了一种使用时间自我监督的算法,采用 GAN 生成视频的方式解决了时间关系难以探索的问题,同时提出了 Ping-Pong loss 用来改善长期时间一致性问题,并且介绍了一组评估模型的定量指标。
Nov, 2018
本文提出了非参数基线方法来解决单个视频生成及操作任务,相较于传统的基于 GAN 的方法能提供更高的性能和更快的运行速度,并且在视频类比和时空重新定位等方面表现突出。
May, 2022
本文探讨了生成对抗网络 (GANs),将神经隐式表示与时间感知区别器相结合,发展了一种 GAN 框架,仅用单目视频合成了 3D 视频,能够学习可分解的 3D 结构和运动的丰富嵌入,实现了新的时空渲染视觉效果,同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。
Jun, 2022