Apr, 2023

VidStyleODE: 通过 StyleGAN 和神经 ODE 实现解耦的视频编辑

PDF
TL;DRVidStyleODE 是一种基于 StyleGAN 和神经 ODE 的时空连续解耦视频表示方法，可以应用于视频编辑、运动操纵、图像动画、视频内插和外推等多个方面。
vidstyleodevideo representationstyleganneural-odesvideo manipulation
发现论文，激发创造
  • Vid-ODE：使用神经常微分方程进行连续时间视频生成

    本文提出了一种结合神经 ODE 和像素级视频处理技术的连续时间视频生成方法，能够处理具有任意时间步长的输入视频，并在真实世界视频数据集上验证该方法的超越性能。

    Oct, 2020

  • 基于神经 ODE 的潜在变换应用于 GAN 图像编辑

    本文研究在生成模型中，利用非线性的神经 ODE 来处理非纹理变化因素，挖掘潜在编码空间中的更多属性，并对大量具有已知属性的数据集进行实证研究。

    Nov, 2021

  • StyleVideoGAN: 使用预训练 StyleGAN 的时间生成模型

    本研究提出了一种新的视频合成方法，通过将空间域和时间域分离，利用预训练的 StyleGAN 网络的潜在空间进行训练，成功地生成了高质量的人像视频，并显著降低了所需训练数据和资源的数量。

    Jul, 2021

  • 生成视频所需的仅一种风格

    本文提出了一种基于风格条件的视频生成模型，其中引入了一种基于学习的正弦基的新颖时态生成器，学习到的动态表示独立于图像内容，可以在不同的演员之间进行传递。除了显著提高视频质量相比普遍方法外，我们还证明了解离的动态和内容使它们能够进行独立操作，以及通过时态 GAN 反演从一个内容或身份中提取和传递视频动作而无需进一步的预处理，如关键点。

    Oct, 2023

  • 我们的风格永不过时：通过潜空间的子空间分解实现动作解缠

    本文提出了一种使用预训练图像 GAN 模型分解视频中动作的新方法，通过发现神经网络的深层潜在空间中语义上有意义的因子，实现运动解缠。作者对面部和汽车数据集进行了广泛的评估，并展示了对于运动编辑和选择性运动转移（仅转移面部表情）等多种下游任务的结果。

    Jun, 2023

  • StyleGAN-V：具备 StyleGAN2 的价格、图像质量和特点的连续视频生成器

    本文基于神经表示方法设计了一个连续时间视频生成器，提出了基于位置嵌入设计连续运动表示的思想，构建了一个聚合时间信息的完整判别器，使用该方法可以以更少的训练成本直接训练 1024x1024 的视频，并取得了优于其他同类工作的生成效果。

    Dec, 2021

  • ODE$^2$VAE: 深度生成二阶 ODE 的贝叶斯神经网络

    本文介绍了 ODE2VAE，一种用于高维序列数据的潜在二阶 ODE 模型，它可以同时学习高维轨迹的嵌入和推断任意复杂的连续时间潜在动力学，并通过深度贝叶斯神经网络参数化概率潜在 ODE 动力学，展示了在动作捕捉、图像旋转和弹跳球数据集上的表现出色，实现了长期运动预测和补全任务的最新性能。

    May, 2019

  • StyleInV: 无条件视频生成的时态风格调制反演网络

    我们介绍了一种新颖的基于学习的倒置网络的运动生成器设计，通过将边缘图像编码为潜在变量，再通过指导初始帧的倒置编码器，使我们的方法能够生成平滑的未来潜在变量，从而实现了生成长时间和高分辨率视频的优势。

    Aug, 2023

  • MoStGAN-V: 带有时间运动风格的视频生成

    通过引入一种 MoStAtt 机制，该研究提出了一种基于运动风格的视频生成模型，以增强帧的生动动态效果，并在四个条件下进行了使用大量跨帧的 256 × 256 合成视频，表现出了最先进的性能。

    Apr, 2023

  • 使用神经 ODE 学习 4D 捕捉的组合表示

    本研究提出一种基于深度学习的方法，通过编码器将每个组件表示为潜在编码，使用神经 ODE 对初始状态进行更新，使用解码器将形状编码和更新状态编码组合在一起重构 3D 模型，并通过身份交换训练策略来有效地解耦每个组件，从而在 4D 重建及运动转移任务中取得了显著改进。

    Mar, 2021