CVPRMay, 2023

使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

PDF
TL;DR该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。
fashionable image generationlatent diffusion modelsenergy-based modelsllm-guided text-to-image generationvirtual try-on
发现论文，激发创造
  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 多模态服装设计师：基于人体中心的潜在扩散模型用于时尚图像编辑

    本文介绍了一种基于 latent diffusion models 的新型架构，通过多模态提示（文本、人体姿势和服装草图）引导生成人体中心时尚图像，同时扩展了两个已有的时尚数据集，证明了该方法的有效性。

    Apr, 2023

  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 纹理生成的单网格扩散模型和场隐变量

    我们介绍了一种在 3D 形状表面上直接操作的基于内在隐性扩散模型的框架，旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型，我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式，其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比，具有较高的保真度。我们的模型还可以用于用户控制的编辑任务，例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性，这部分有助于我们方法的有效性，使我们的模型能够在局部相似区域之间无缝复现细节，并打开了生成纹理迁移的可能性。

    Dec, 2023

  • 可解释文本建模的潜在扩散基于能量模型

    该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法，该方法结合了基于几何聚类的正则化与信息瓶颈，从而在解释性文本建模方面表现出比强大对手更优异的性能。

    Jun, 2022

  • 通过潜在扩散模型探索上下文分割

    通过使用代表性的生成模型 —— 潜在扩散模型（LDM），我们从新的角度探索了上下文分割问题，提出了两种元架构和相应的输出对齐和优化策略。我们通过全面的消融研究发现，分割质量取决于输出对齐和上下文指令。实验证明，我们的方法在挑战性的上下文分割任务中取得了与专业模型或视觉基础模型相当甚至更强的结果，证明了潜在扩散模型也可以达到足够好的效果。

    Mar, 2024