May, 2023

LEO：人体视频合成的生成式潜空间图像动画器

PDF
TL;DR提出了一种名为 LEO 的新颖方法，通过将运动表示为一系列流场图，在生成过程中固有地分离运动和外貌，从而强调时空一致性，并取得了比以前方法更好的人类视频合成效果。
human video synthesisspatio-temporal coherencyflow mapslatent motion diffusion modeldisentanglement
发现论文，激发创造
  • 潜在图像动画师：通过潜在空间导航学习动画图片

    介绍了一种名为 LIA 的基于自我监督的自编码器模型，该模型可以在潜在空间中进行线性导航以运动图像。LIA 避免了使用结构表示，通过同时学习正交运动方向和其线性组合来生成视频，结果在 VoxCeleb、Taichi 和 TED-talk 数据集上的质量明显优于现有方法。

    Mar, 2022

  • 通过运动流引导的时空子空间注意力实现一致的舞蹈生成

    Dance-Your-Latents 是一个生成一致舞蹈视频的框架，通过引入空间 - 时间子空间 - 注意力块，模拟了每个元素在有限空间内的运动，以实现生成视频的时空一致性，并通过姿态控制指导下的运动流量对其进行补全和对齐，实验结果表明该方法显著提升了生成视频的时空一致性。

    Oct, 2023

  • 视频 LCM：视频潜在一致性模型

    论文介绍了一种名为 VideoLCM 的框架，它利用了一致性模型的概念，通过最小步骤高效地合成视频，同时保持高质量。VideoLCM 基于现有的潜在视频扩散模型，并结合了一致性蒸馏技术来训练潜在一致性模型。实验结果表明，VideoLCM 在计算效率、保真度和时间一致性方面的有效性。尤其值得注意的是，VideoLCM 仅需四个采样步骤即可实现高保真度和流畅的视频合成，展示了实时合成的潜力。希望 VideoLCM 能成为后续研究的简单而有效的基准。源代码和模型将公开提供。

    Dec, 2023

  • 为实际手动任务生成连贯的视觉插图序列

    通过将潜在扩散模型与大型语言模型结合，我们提出了一种生成一致图像序列的方法，用于配合多步骤的指南，并在人类参与实验中被 46.6% 的人选择为最佳方法，同时自动评价指标表明该方法在两个领域中能够维持语义连贯性和视觉一致性。

    May, 2024

  • 超越骨骼：一体化潜像映射的连贯 4D 序列生成

    提出了一种新框架，能够根据给定条件下低维空间中的形状和颜色信息的动态演化，生成连贯的 4D 序列。实验证明，该方法在生成具有颜色和 4D 网格动画的高质量 3D 形状方面具有显著优势。

    Mar, 2024

  • GlocalNet：基于类别感知的长期人体运动合成

    本文旨在解决人体运动合成方面存在的挑战，提出了一种两阶段活动生成方法，通过学习合成稀疏的运动轨迹和生成密集的运动轨迹来实现长期人体运动轨迹的合成，并通过多种量化评估指标证明该方法优于 SOTA 方法。

    Dec, 2020

  • LaMD：视频生成的潜在运动扩散

    提出了一种基于 Motion Generation 的视频生成方法，通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性，采用了 LaMD 框架，包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分，实现了高质量、宽泛的运动生成，并在多个基准数据集上创造了新的最先进的性能。

    Apr, 2023

  • MotionLCM：基于潜变一致性模型的实时可控动作生成

    基于 MotionLCM 模型，作者提出了一种能够实时生成可控运动的方法，通过引入运动潜在一致性模型（MotionLCM）和使用运动控制网络，实现了对文本和控制信号的实时生成和控制，在保持运行效率的同时展现出了出色的生成和控制能力。

    Apr, 2024

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022