Aug, 2023

DiffSynth: 逼真视频合成的迭代去闪烁潜在空间

PDF
TL;DRDiffSynth 是一种新颖的方法，旨在将图像合成管道转化为视频合成管道，其中包括潜在迭代去闪烁框架和视频去闪烁算法，常用于多种视频合成任务，包括文本引导视频风格化、时尚视频合成、图像引导视频风格化、视频恢复和 3D 渲染。
diffsynthvideo synthesislatent in-iteration deflickering frameworkvideo deflickering algorithmtext-guided video stylization
发现论文，激发创造
  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023

  • 快速高分辨率图像合成与潜在敌对扩散蒸馏

    通过利用预训练的潜在扩散模型的生成特征，我们引入了一种名为 LADD 的新的蒸馏方法，它简化了训练并提高了性能，实现了高分辨率的多纵横比图像合成。我们将 LADD 应用于 Stable Diffusion 3 (8B) 以获得 SD3-Turbo，这是一个快速模型，仅使用四个无导向采样步骤就能达到与现有技术文本到图像生成器相当的性能。此外，我们还系统地研究了其扩展行为，并展示了 LADD 在图像编辑和修复等各种应用中的有效性。

    Mar, 2024

  • 循环去噪：用于文本到视频生成的迭代式去噪

    通过复用和扩散的框架 VidRD，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。

    Sep, 2023

  • 多源潜变扩散模型的视频编辑

    FLDM 是第一个将现成的图像编辑方法融入视频 LDM 的视频编辑方法，通过在视频 LDM 中应用现成的图像编辑方法，FLDM 能够改善编辑视频的文字对齐和时间一致性。

    Oct, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • BIVDiff：基于图像和视频扩散模型的无需训练的通用视频合成框架

    我们提出了一个无需训练的通用视频合成框架，命名为 BIVDiff，通过将特定的图像扩散模型与通用文本到视频基础扩散模型相结合，既实现了强大的任务泛化能力，又具有高效性。

    Dec, 2023

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • Video ControlNet：条件图像扩散模型实现时域一致的虚拟到真实视频翻译

    本研究提出了一种高效有效的方法，通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换，同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息，通过联合噪声优化有效地最小化了时空不一致性，实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性，并且我们的方法不需要对扩散模型进行任何培训或微调。 最后，我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。

    May, 2023