ArtFusion:使用双条件潜扩散模型进行任意风格转移
神经风格迁移(NST)是将神经技术应用于修改内容图像的艺术外观以匹配参考样式图像的研究领域。我们提出使用基于扩散模型的新类模型来执行风格迁移并实现可变形式的风格迁移,展示了如何在推理时利用这些模型的先验知识,探索了该领域新方向的研究成果。
Jul, 2023
通过理论分析和实验,本研究展示了扩散模型在零样式转换的有效性和优越性,并引入了交叉注意力重排策略,使样式信息能够直接提取并无缝集成到内容图像中。
Nov, 2023
我们提出了ArtBank,一种新颖的艺术风格转换框架,旨在生成高度逼真且保留内容结构的风格化图像。通过设计可训练的参数矩阵集合-隐式风格提示库(ISPB),从艺术作品的集合中学习和存储知识,作为视觉提示,指导预训练大规模模型生成高度逼真的风格化图像,同时保留内容结构。此外,我们提出了一种基于空间统计的自注意力模块(SSAM),加速训练ISPB。定性和定量实验证明了我们提出的方法优于现有的艺术风格转换方法。
Dec, 2023
基于预训练大规模扩散模型的一种新的艺术风格转换方法,通过操作自注意力层的特征作为交叉注意力机制的方式,实现样式的传递和内容的保留,并解决原始内容的破坏和样式颜色不协调的问题,证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
Dec, 2023
DiffStyler是一种新方法,通过利用基于LoRA的文本到图像扩散模型来实现高效且精确的任意图像风格转移,该方法结合了跨LoRA特征和注意注入的策略,旨在在内容保持和风格整合之间取得更和谐的平衡。
Mar, 2024
提出了一种名为LSAST的新型基于预训练扩散的艺术风格转换方法,能够生成高度逼真的艺术化风格图像,并在保留输入图像的内容结构方面表现出较好的效果,而不引入明显的伪影和不协调的风格图案。
Apr, 2024
通过Ada-Adapter框架和有限的源图像进行零样式和少样式转移,能够快速高效地获取图像样式细节,生成与提供的文字提示相匹配的高保真度风格化图像,并在输出质量、多样性和训练效率等方面优于现有的零样式和少样式转化方法。
Jul, 2024
本研究解决了目前任意风格迁移技术中存在的模式崩溃和风格化过度或不足的问题。提出的D²Styler框架利用VQ-GAN的离散表示能力和离散扩散的优势,通过自适应实例归一化(AdaIN)特征为反向扩散过程提供上下文指导,从而有效地将风格特征移植到内容图像中。实验结果显示,D²Styler在图像质量上显著优于现有的多个方法,具有广泛的应用潜力。
Aug, 2024
本文解决了图像风格迁移中传统模型需要额外训练的问题。通过提出一种无训练的风格迁移算法——风格跟踪反向扩散过程(STRDP),该算法在潜在扩散模型的反向扩散过程中以独特方式使用自适应实例正则化(AdaIN)函数,同时跟踪风格图像的编码历史。实验表明,该方法能够快速实现图像风格迁移,具有速度快、兼容性强和无训练的优点,促进了风格与隐空间模型的灵活组合实验。
Oct, 2024
本研究解决了现有风格迁移方法在内容和风格之间平衡不足的问题。我们提出了一种新颖的无训练方法,通过将文本嵌入与空间特征相结合,并分开注入内容和风格,从而改善风格迁移效果。实验表明,该方法在实现平衡和可控的风格迁移结果方面表现出色,并具有扩展到其他任务的潜力。
Oct, 2024