控制样式:使用扩散先验生成基于文本的风格化图像
本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用;此外,介绍了文本条件下图像合成、文本引导的创意生成和图像编辑,并探讨了当前的挑战和未来方向。
Mar, 2023
本文研究了基于扩散概率模型的语言模型在细粒度文本风格转换的任务上的应用,并证明了这种模型不仅可以在没有预训练权重、外部嵌入和语法解析器的情况下进行训练,而且在数据资源有限的情况下也能取得优异的效果。
May, 2023
基于预训练大规模扩散模型的一种新的艺术风格转换方法,通过操作自注意力层的特征作为交叉注意力机制的方式,实现样式的传递和内容的保留,并解决原始内容的破坏和样式颜色不协调的问题,证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
Dec, 2023
我们提出了一种新颖的方法来产生各种不同风格的图像,并保持特定的风格元素和细微差别,这种方法通过在去噪过程中,在最后的自注意力层中将查询从原始特征保留,而将关键字和值与参考特征交换,实现了视觉风格提示而无需任何微调,确保生成的图像保持忠实的风格。通过对各种风格和文本提示进行广泛评估,我们的方法表现出超越现有方法的优势,在最准确地匹配文本提示的情况下最好地反映出参考的风格,我们的项目页面在这里提供。
Feb, 2024
本研究提出了一种创新的文本驱动风格转移任务解决方案,名为自适应风格融合(ASI),通过Siamese Cross-Attention(SiCA)、Adaptive Content-Style Blending(AdaBlending)模块来实现细粒度的特征级风格融合,并在结构保持和风格化效果方面展现出更好的性能。
Apr, 2024
Stylized Text-to-Image Generation paper proposes StyleMaster, a framework utilizing pretrained Stable Diffusion for generating images from text prompts, overcoming previous issues with insufficient style and inconsistent semantics. It introduces a multi-source style embedder and dynamic attention adapter to provide improved style embeddings and adaptability, and evaluates the model using objective functions and denoising loss, demonstrating its superior performance in achieving variable target styles while maintaining semantic information.
May, 2024
本研究解决了在文本到图像生成中有效控制图像风格的难题。我们提出了StyleTokenizer,一种无须预先训练的风格控制生成方法,通过风格标记器将风格表示与文本表示对齐,从而减少对文本提示有效性的影响。实验结果表明,该方法能够准确捕捉参考图像的风格特征,同时生成与目标图像风格和文本提示一致的美观图像。
Sep, 2024
本研究解决了现有风格迁移方法在内容和风格之间平衡不足的问题。我们提出了一种新颖的无训练方法,通过将文本嵌入与空间特征相结合,并分开注入内容和风格,从而改善风格迁移效果。实验表明,该方法在实现平衡和可控的风格迁移结果方面表现出色,并具有扩展到其他任务的潜力。
Oct, 2024