DiffFaceSketch: 利用素描引导潜在扩散模型合成高保真人脸图像

Feb, 2023

DiffFaceSketch: 利用素描引导潜在扩散模型合成高保真人脸图像

DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model

Yichen Peng, Chunqi Zhao, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

TL;DR该论文介绍了 Sketch-Guided 潜在扩散模型（SGLDM），它是一种基于 LDM 的网络架构，在配对的素描 - 面部数据集上进行训练，可以合成出不同表情，面部配饰和发型的高质量人脸图片。 SGLDM 通过使用 Multi-Auto-Encoder 和 Stochastic Region Abstraction，能够有效地处理抽象度不同的草图输入，与现有的方法相比提高了鲁棒性。

Abstract

Synthesizing face images from monochrome sketches is one of the most fundamental tasks in the field of image-to-image translation. However, it is still challenging to (1)~make models learn the high-dimensional face features such as geometry and color, and (2)~take into account the characteristics of input sketches. Existing methods often use sketches as indi

face synthesizing sketch-guided latent diffusion model multi-auto-encoder stochastic region abstraction high-quality images

发现论文，激发创造

使用潜在扩散模型进行高分辨率图像合成

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

使用扩散模型进行草图控制图像合成

使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

May, 2023

使用潜在扩散模型进行高保真度的图像合成引导

本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

Nov, 2022

WildFusion：学习视角空间中的三维感知潜空扩散模型

基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

Nov, 2023

具备语音条件的潜空间扩散和人脸先验的逼真语音到人脸生成

提出了一种利用 Speech-Conditioned Latent Diffusion Model (SCLDM) 的语音到人脸生成框架，通过对话音频和面部特征之间的对比预训练以及引入残差的方式，实现了更加逼真的人脸图像生成。在 AVSpeech 数据集和 Voxceleb 数据集上，该方法在所有度量指标上均取得了显著提升，尤其是在余弦距离度量指标上分别提升了 32.17 和 32.72。

Oct, 2023

神经场 LDM: 带有分层隐式扩散模型的场景生成

提出了一种名为 NeuralField-LDM 的生成模型，它能够合成复杂的 3D 环境，并取得了比目前现有模型更显著的进步。该模型使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。此外，展示了如何应用 NeuralField-LDM 在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域。

Apr, 2023

DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

Jun, 2023

面部生成的可控语义潜在扩散模型

基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

Mar, 2024

混合潜在扩散

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

U-Sketch：一种高效的草图到图像扩散模型方法

使用 U-Sketch 框架和 U-Net 潜在边缘预测器，在草图到图像合成任务中取得了更好的结果，更好地符合参考草图的空间轮廓，并大大减少所需的去噪步骤和整体执行时间。

Mar, 2024