学习图神经网络用于图像风格转移
本文提出了一种基于局部匹配和卷积神经网络的简单优化目标,该目标可以在保持效率的同时,产生艺术风格迁移的高品质结果。同时,本文结合内容结构和风格纹理,利用预训练网络的单层来实现该目标,并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练,这使得整个算法支持任意图像进行迁移。
Dec, 2016
本文提出一种方法,将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合,利用任意内容/风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数,在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约8万幅绘画作品上进行了训练,并能够推广到以前未观察到的作品。我们证明,学习到的嵌入空间是平滑的,并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。
May, 2017
本研究提出了基于多样性的风格转换技术(MST),通过将风格图像特征聚类为次级风格组件,并采用图割公式将其与本地内容特征相匹配来明确考虑内容和风格图像的语义模式匹配,从而实现更灵活,更通用的风格转换技术。
Apr, 2019
本文提出了一种基于区域语义的多样式迁移框架,其中引入了新的多级特征融合模块和补丁注意力模块来实现更好的语义对应和保留更丰富的样式细节,并使用区域风格融合模块将多个样式无缝地结合在一起,实现更丰富、更美观的多样式迁移结果。
Oct, 2019
本文提出了一种多适应网络,它包括两个自适应模块和一个协同适应模块。该模型使用自适应模块分离内容和风格表示,并使用一种新的解缠结损失函数来提取主要的风格模式和确切的内容结构,根据各种输入图像进行相应的调整,这样能够更好地进行样式转移。实验证明,与现有的样式转移方法相比,提出的多适应网络可获得更好的结果。
May, 2020
本文介绍了两种重要的风格迁移研究方法:基于Gram矩阵和基于patch。尽管Gram矩阵方法已经能够以多样化的方式生成不同风格的结果,但patch方法的多样性仍然具有挑战性。为了解决这个难题,作者提出了一种名为DivSwapper的通用、有效的模块,可以轻松地与现有的patch和Gram方法集成,以产生多样化的结果,同时具有更高的多样性、质量和效率。
Jan, 2021
研究表明,通过预训练的VGG网络提取的特征之间的相关性能够很好的捕捉图像的视觉风格;然而,这种特征传递的鲁棒性在应用于更先进的轻量级网络(如ResNet)中有所下降。本文通过大量实验发现,残差连接对于ResNet来说,生成的特征熵很小,不适合进行风格迁移;提出了一种基于softmax转换的特征激活策略,可以增强网络对于传输特征的适应性,提高各种网络类型的风格化效果。
Apr, 2021
本文提出了一种新颖的STTR网络,采用视觉令牌将内容和样式映射到细粒度的特征空间,采用自注意力机制和交叉注意力机制实现微观的样式转换,在人造数据集的评估中取得了较高的效果。
Oct, 2022
我们提出了一种新颖的仅包含编码器的变换器模型,以显著降低计算成本,并设计了内容特征提取器和风格特征提取器,用于向变换器提供纯内容和风格图像。最后,我们提出了一种名为Puff-Net的新型网络,即纯内容和风格特征融合网络。通过定性和定量实验证明了我们模型相比文献中的最先进模型的优势。
May, 2024