用Transformer和对比学习重新思考任意风格转换
本文提出了一种基于局部匹配和卷积神经网络的简单优化目标,该目标可以在保持效率的同时,产生艺术风格迁移的高品质结果。同时,本文结合内容结构和风格纹理,利用预训练网络的单层来实现该目标,并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练,这使得整个算法支持任意图像进行迁移。
Dec, 2016
本文提出了一种简单而有效的方法,通过引入自适应实例标准化(AdaIN)层,实现了实时的任意风格迁移,其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。
Mar, 2017
我们提出了MetaStyle方法,将神经风格迁移公式化为双层优化问题,并结合学习和后处理更新步骤,使其适应快速逼近模型,从而实现高质量的任意艺术风格转移,并在速度,灵活性和质量之间取得了良好的平衡。
Dec, 2018
通过将其视为最优输运问题(Optimal Transport Problem),我们提出了一种新颖的样式转移解释方法,并证明了与AdaIN和WCT之类的旧方法的关系,并在考虑了Gatys的内容损失后得出了闭合形式的最优样式转移(OST)解决方案。
Jun, 2019
本文介绍了一种基于神经风格迁移的模型,可以生成带有一定风格的高质量图片,无需预先训练的网络。该模型利用一个新的双阶段同行正则化层在潜在空间中重新组合风格和内容,构建了一个自定义图卷积层,提出了一组直接在潜在空间中操作的循环损失,从而实现了端到端的训练,并且在实验中得到了良好的效果。
Jun, 2019
本研究提出了新的、广义的标准化模块——Dynamic Instance Normalization(DIN),通过组成实例标准化和动态卷积将风格图像编码成可学习的卷积参数,从而实现了灵活且更高效的任意风格转移。实验结果表明,所提出的方法在具有挑战性的风格模式上具有非常鼓舞人心的结果,并且是使用基于MobileNet的轻量级架构进行任意风格转移的首次,并且在计算成本方面比现有方法提供了超过20倍的降低因素。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,因此触发了新的功能,如非自然图像的均匀笔触位置和自动空间笔触控制。
Nov, 2019
本文介绍了两种重要的风格迁移研究方法:基于Gram矩阵和基于patch。尽管Gram矩阵方法已经能够以多样化的方式生成不同风格的结果,但patch方法的多样性仍然具有挑战性。为了解决这个难题,作者提出了一种名为DivSwapper的通用、有效的模块,可以轻松地与现有的patch和Gram方法集成,以产生多样化的结果,同时具有更高的多样性、质量和效率。
Jan, 2021
本文研究神经风格转换中不平衡风格转移的问题,提出了一种解决方案,通过提出新的Loss function在理论分析和实验结果中证明其有效性,提高风格欺骗率和人类评估的偏好度。
Apr, 2021
本文提出一种使用深度对比学习的方法,通过学习图像特征来获得图像的样式表示,并使用生成网络进行样式转移。研究表明,相对于现有的基于二阶统计量的方法,这种方法能够更加有效地获取图像的样式信息并生成更好的结果。
May, 2022