DiffStyler:基于扩散的局部图像风格转移
本文提出了一种基于扩散的非监督图像转换方法,使用分离的风格和内容表征,并使用ViT模型中的中间键提取多头自注意层作为内容保存损失,并匹配文本驱动风格转移的[CLS]分类令牌,同时使用额外的CLIP损失,实验结果表明,该方法在文本引导和图像引导的转换任务中优于现有的基准模型。
Sep, 2022
神经风格迁移(NST)是将神经技术应用于修改内容图像的艺术外观以匹配参考样式图像的研究领域。我们提出使用基于扩散模型的新类模型来执行风格迁移并实现可变形式的风格迁移,展示了如何在推理时利用这些模型的先验知识,探索了该领域新方向的研究成果。
Jul, 2023
通过提出一种新的内容和风格(C-S)分离框架来实现风格迁移,利用CLIP图像空间中的显式内容信息提取和隐式学习得到互补风格信息,以实现可解释和可控的C-S分离和风格迁移,通过扩展扩散模型的风格去除和生成能力,实现了卓越的结果和灵活的C-S分离与权衡控制,为风格迁移中的C-S分离提供了新的见解并展示了扩散模型在学习良好分离的C-S特征方面的潜力。
Aug, 2023
基于预训练大规模扩散模型的一种新的艺术风格转换方法,通过操作自注意力层的特征作为交叉注意力机制的方式,实现样式的传递和内容的保留,并解决原始内容的破坏和样式颜色不协调的问题,证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
Dec, 2023
本研究解决了目前任意风格迁移技术中存在的模式崩溃和风格化过度或不足的问题。提出的D²Styler框架利用VQ-GAN的离散表示能力和离散扩散的优势,通过自适应实例归一化(AdaIN)特征为反向扩散过程提供上下文指导,从而有效地将风格特征移植到内容图像中。实验结果显示,D²Styler在图像质量上显著优于现有的多个方法,具有广泛的应用潜力。
Aug, 2024
本研究解决了现有图像风格转移方法在保持内容一致性和风格准确性方面的局限。我们提出了FAGStyle,一种零-shot文本引导的扩散图像风格转移方法,通过结合滑动窗口裁剪技术和测地面上的特征增强实现了更好的风格控制和内容保持。实验结果显示,FAGStyle在多样化源内容和风格的应用中表现出优越性,能够有效保留源图像的语义内容。
Aug, 2024
本研究解决了现有图像风格迁移方法在文本引导下难以保持风格一致性和目标图像内容的问题。提出的FAGStyle方法通过滑动窗口裁剪技术和高斯曲面特征增强,实现了信息交互与内容一致性。实验结果表明,FAGStyle在多种源内容和风格下都能优于现有方法,保持源图像的语义内容。
Aug, 2024
本文解决了图像风格迁移中传统模型需要额外训练的问题。通过提出一种无训练的风格迁移算法——风格跟踪反向扩散过程(STRDP),该算法在潜在扩散模型的反向扩散过程中以独特方式使用自适应实例正则化(AdaIN)函数,同时跟踪风格图像的编码历史。实验表明,该方法能够快速实现图像风格迁移,具有速度快、兼容性强和无训练的优点,促进了风格与隐空间模型的灵活组合实验。
Oct, 2024
本研究解决了现有风格迁移方法在内容和风格之间平衡不足的问题。我们提出了一种新颖的无训练方法,通过将文本嵌入与空间特征相结合,并分开注入内容和风格,从而改善风格迁移效果。实验表明,该方法在实现平衡和可控的风格迁移结果方面表现出色,并具有扩展到其他任务的潜力。
Oct, 2024