Aug, 2024

像艺术家一样绘画：通过构图、绘画和修饰的扩散模型进行复杂场景生成

HTML
PDF
TL;DR本研究解决了复杂场景生成的定义和方法缺失的问题，提出了一套复杂分解标准（CDC），并基于此开发了一个名为复杂扩散（CxD）的无训练框架。通过结合大型语言模型的推理能力和注意力调节方法，实验结果表明，该方法在生成高质量和语义一致的复杂场景图像方面显著超越了之前的最先进技术。
发现论文，激发创造
  • 多模态引导扩散：多样的数字艺术合成

    本研究提出了一种多模态引导的数字艺术生成方法，即MGAD模型，该方法利用多模态提示作为引导，控制无分类器扩散模型，并使用对比语言-图像预训练(CLIP)模型统一文本和图像模态进行生成，实验结果表明，此方法在产生数字艺术方面有效。

    Sep, 2022

  • UPainting: 统一的跨模态引导文本到图像扩散生成

    本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像-文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像-文本对齐程度。在中英文简单和复杂场景的对比实验中，UPainting 相对于其他模型表现得更加优异。

    Oct, 2022

  • 基于扩散模型的倒置式风格迁移

    本文提出了一种基于单张画作的有学习能力的文字描述的艺术风格逆推算法（InST），能够高效地捕捉并转移绘画作品的艺术风格，且经过在多个艺术家和艺术风格的多幅画作上测试验证了其质量和效率。

    Nov, 2022

  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023

  • 扩散刷：基于潜在扩散模型的AI生成图像编辑工具

    本文提出了一种基于潜在扩散模型的工具Diffusion Brush，用于对人工智能合成的图像进行高效的局部微调，在保留图像原始内容的同时，引入新的随机噪声模式以定位特定区域，通过与其他图像修复技术和编辑软件的比较，验证了我们这种方法的可用性和有效性。

    May, 2023

  • 复合扩散 | 整体 >= Σ部分

    该论文介绍了一种名为Composite Diffusion的方法，该方法允许艺术家通过自由形式的分段布局来生成高质量图像，以此来实现对图像生成的更大的空间、语义和创造性控制。

    Jul, 2023

  • PromptPaint: 通过绘画媒介般的互动引导文本生成图像

    通过将T2I生成与模拟使用彩色绘画的交互相结合，PromptPaint使用户能够超越语言来混合表达具有挑战性概念的提示，从而允许他们在图像生成过程的不同画布区域和时间应用不同的提示，并提供了有关未来可操控生成工具的深入洞察。

    Aug, 2023

  • 稳定的扩散参考模型：图像提示和蓝图共同指导的多条件扩散次级绘画模型

    通过使用仅两种类型的条件图像对生成进行精确控制，我们提出了一种新的方法Stable Diffusion Reference Only，它是一个仅参考图像到图像的自监督模型，加速了二次绘画。我们在动画、漫画和二次创作领域实现了最先进的结果，验证了该结构的有效性并大大提高了生产效率。

    Nov, 2023

  • HD-Painter：具高分辨率和忠实预示文字引导的扩散模型图像修复

    最近的文本引导图像修复研究表明，HD-Painter 是一个完全无需训练的方法，可根据用户的提示进行高分辨率图像修复，并在文本对齐和生成准确性方面取得显著提升。

    Dec, 2023

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024