多适应网络实现任意风格转换
本文提出了一种基于局部匹配和卷积神经网络的简单优化目标,该目标可以在保持效率的同时,产生艺术风格迁移的高品质结果。同时,本文结合内容结构和风格纹理,利用预训练网络的单层来实现该目标,并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练,这使得整个算法支持任意图像进行迁移。
Dec, 2016
本研究提出了一种基于前向网络学习转换矩阵的任意风格转换方法,该方法高效且具有灵活组合多级风格的能力,同时保持风格转移过程中的内容亲和性,成功应用于艺术风格转换、视频和照片逼真的风格转换以及领域适应等四种任务,并与最先进的方法进行了比较。
Aug, 2018
本文介绍了一种新型的样式注意力网络(SANet),它可以根据内容图像的语义空间分布有效、灵活地整合本地样式模式,并且通过新的身份损失函数和多层特征嵌入,使得该网络和解码器能够尽可能地保留内容结构,同时丰富样式模式,实验结果表明我们的算法能够实时地合成比现有算法产生更高质量的样式图像。
Dec, 2018
本文提出一种基于自我关注机制的多笔画风格迁移,通过使用自我关注机制来得出内容图像的关注热力图,并在不同的尺度下对内容特征和风格特征进行多样化笔画渲染,并加入柔性的特征融合策略来提高风格迁移的效果以及生成多笔画风格的图像。
Jan, 2019
本研究提出了基于多样性的风格转换技术(MST),通过将风格图像特征聚类为次级风格组件,并采用图割公式将其与本地内容特征相匹配来明确考虑内容和风格图像的语义模式匹配,从而实现更灵活,更通用的风格转换技术。
Apr, 2019
通过优化注意机制和捕捉样式模式的节奏,我们引入了一种称为模式可重复性的新指标,基于它,我们提出了能够发现局部和全局样式表达的AesPA-Net,并引入了一种新的自监督任务和补丁级样式损失来实现完美的艺术风格迁移,通过定性和定量评估验证了模式可重复性的可靠性,并展示了所提出框架的优越性。
Jul, 2023
我们提出了ArtBank,一种新颖的艺术风格转换框架,旨在生成高度逼真且保留内容结构的风格化图像。通过设计可训练的参数矩阵集合-隐式风格提示库(ISPB),从艺术作品的集合中学习和存储知识,作为视觉提示,指导预训练大规模模型生成高度逼真的风格化图像,同时保留内容结构。此外,我们提出了一种基于空间统计的自注意力模块(SSAM),加速训练ISPB。定性和定量实验证明了我们提出的方法优于现有的艺术风格转换方法。
Dec, 2023
基于预训练大规模扩散模型的一种新的艺术风格转换方法,通过操作自注意力层的特征作为交叉注意力机制的方式,实现样式的传递和内容的保留,并解决原始内容的破坏和样式颜色不协调的问题,证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
Dec, 2023
本研究解决了现有任意艺术风格迁移方法在风格转换过程中显著损害内容图像纹理线条的问题。提出了一种增强亲和力的注意网络,包括内容亲和力增强注意模块和风格亲和力增强注意模块,通过细节增强模块强化细节特征,并引入基于亲和注意力的局部差异损失,以更好地保留内容与风格图像之间的亲和性。实验表明,本方法在任意风格迁移方面优于其他先进方法。
Sep, 2024