Sep, 2023

FashionFlow: 利用扩散模型从静态图像生成动态时尚视频

PDF
TL;DR我们的研究介绍了一种名为 FashionFlow 的新型图像 - 视频生成器。通过利用扩散模型，我们能够从静止图像中创建短视频。我们的方法涉及开发和连接与扩散模型相关的组件，这使得我们的工作与众不同。这些组件包括使用伪 3D 卷积层高效生成视频。VAE 和 CLIP 编码器从静止图像中捕获重要特征以影响扩散模型。我们的研究展示了成功合成时尚视频，展示了模特从多个角度展示服装的合身和外观。我们的发现对于改进和提升在线时尚行业的购物体验具有巨大潜力。
image-to-video generatorfashionflowdiffusion modelpseudo-3d convolutional layersshopping experience
发现论文，激发创造
  • DreamPose: 通过稳定扩散进行时装图像到视频合成

    DreamPose 是一种基于扩散的方法，用于从静止图像生成动画时装视频，通过使用一组新颖的微调策略、建筑变化和技术来实现姿势与图像引导的视频合成模型，并鼓励时间的一致性，通过对 UBC 时尚数据集的时装视频进行微调来对我们的方法进行评估，证明我们的方法在时装视频动画方面取得了最先进的效果。

    Apr, 2023

  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • ViViD: 使用扩散模型的视频虚拟试衣

    视频虚拟试穿通过强大的扩散模型处理视频虚拟试穿任务并实现空间时间一致性。

    May, 2024

  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022

  • 多阶段扩散模型的层次化时装设计

    提出了一种名为 HieraFashDiff 的新型时尚设计方法，通过使用共享的多阶段扩散模型，包含高层设计概念和低层服装属性的层次结构，允许设计师在高级提示后逐步交互式编辑以添加低层属性。在我们新建的层次时尚数据集上进行的全面实验表明，我们提出的方法优于其他最先进的竞争方法。

    Jan, 2024

  • VIDM: 视频隐式扩散模型

    该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

    Dec, 2022

  • 利用外观流驯服扩散模型的高质量虚拟试穿

    基于扩散模型的条件修复技术在虚拟试衣中的有效使用，结合了扭曲模块的力量来产生高质量和逼真的虚拟试穿结果。

    Aug, 2023

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • DynamiCrafter: 用视频扩散先验动画化开放域图像

    通过将静止图像与动态相结合，提供更具吸引力的视觉体验。

    Oct, 2023

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023