草图引导的场景图像生成
本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。
Apr, 2023
提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。
Mar, 2023
本文提出了一种针对扩散模型的新型引导方法，通过边界框和分割映射信息进行推理时间的采样过程，有效提高了文本到图像生成的准确性和分辨率，从而在场景图像生成方面取得了更好的表现和效果，并在公共基准测试中超越了基于场景图像和文本的扩散模型。
Apr, 2023
我们介绍了一种与艺术家的迭代细化过程相适应的新型素描到图像工具。我们的工具允许用户绘制出粗略表示物体放置和形状的阻塞笔触以及用于精炼形状和轮廓的详细笔触。我们开发了一个两步算法，从这些素描中的任意时刻生成高保真度图像。第一步中，我们使用ControlNet生成完全遵循所有笔触（阻塞笔触和详细笔触）的图像，第二步通过给阻塞笔触周围的区域添加噪声来增加变异性。我们还提出了一种数据集生成方案，用于训练ControlNet架构，使不包含笔触的区域被解释为尚未指定的区域而不是空白空间。我们展示了这种部分素描感知的ControlNet能够从仅含少量笔触的部分素描中生成连贯的元素。我们的方法生成的高保真度图像可以作为脚手架，帮助用户调整物体的形状和比例，或者在构图中添加额外的元素。我们通过各种例子和评估性比较证明了我们方法的有效性。
Feb, 2024
通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。
Mar, 2024
基于手绘草图和对象关系知识的增强扩散架构(SEK)用于生成个性化、多样化和可信的3D场景，通过外部知识库和图推理辅助模型理解草图，利用3D去噪场景转换器生成包括对象实例和布局的场景。与竞争者相比，我们的模型在3D场景生成和完成中提高了FID、CKL 17.41%、37.18%以及FID、KID 19.12%、20.06%。
Mar, 2024
本文提出了一种自监督方法用于场景素描生成，该方法不依赖于任何现有的场景素描，可将单对象的素描转化为场景素描。通过引入矢量素描字幕和素描语义扩展方法，并设计一个融合多模态感知约束的生成网络，适用于零样本图像到素描的下游任务，实验证明其具有最先进的性能。最后，通过我们提出的素描生成方法，我们贡献了一个以场景素描为中心的大规模数据集，包括高度语义一致的“文本-素描-图像”三元组，该数据集可以显著提升现有模型在基于素描的图像检索和素描控制图像合成任务中的能力。我们将公开提供数据集和代码。
May, 2024
本研究解决了复杂场景生成的定义和方法缺失的问题，提出了一套复杂分解标准（CDC），并基于此开发了一个名为复杂扩散（CxD）的无训练框架。通过结合大型语言模型的推理能力和注意力调节方法，实验结果表明，该方法在生成高质量和语义一致的复杂场景图像方面显著超越了之前的最先进技术。
Aug, 2024
本研究解决了现有文本到图像生成模型在用户对生成结果的精确控制方面的挑战。提出了一种新颖的无训练管道，利用草图作为附加条件，通过潜在优化方法提高生成图像与草图结构的准确性和保真度，从而增强用户在内容创作中的控制和定制选项。该方法有望在现实世界内容创作中提供更高的灵活性和质量。
Aug, 2024