神经架构搜索实现的超快照片真实风格转移
该论文提出了一种即时的、逼真的风格迁移方法,用于超分辨率输入的风格迁移,无需与成对数据集进行预训练或强加额外约束。通过使用一个轻量级的 StyleNet,我们的方法在保留非颜色信息的同时,实现了从风格图像到内容图像的风格迁移。为了进一步增强风格迁移过程,我们引入了一种实例自适应优化,以优先考虑输出的逼真性并加快风格网络的收敛,从而在几秒钟内快速完成训练。此外,该方法非常适用于多帧风格迁移任务,因为它保持了多帧输入(如视频和神经辐射场)的时间和多视图一致性。实验结果表明,该方法需要更少的 GPU 内存使用,提供更快的多帧迁移速度,并生成逼真的输出,为各种逼真的迁移应用提供了有希望的解决方案。
Sep, 2023
基于深度神经网络的较慢的最新方法限制实际分辨率,或仍包含可感知的瑕疵,我们在这里提出了一种新的端到端模型,用于光影逼真的风格转移,其快速且产生逼真的结果,与现有最先进的方法相比,我们的方法产生了视觉上更好的结果,速度提高了三个数量级,并在移动手机上实现了 4K 的实时性能。
Apr, 2020
本文提出一种方法,将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合,利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数,在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练,并能够推广到以前未观察到的作品。我们证明,学习到的嵌入空间是平滑的,并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。
May, 2017
本文提出了一种基于局部匹配和卷积神经网络的简单优化目标,该目标可以在保持效率的同时,产生艺术风格迁移的高品质结果。同时,本文结合内容结构和风格纹理,利用预训练网络的单层来实现该目标,并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练,这使得整个算法支持任意图像进行迁移。
Dec, 2016
本文提出了一种基于 ArtNet 的,在风格转移应用特别设计的零通道修剪算法以及一种理论上有根据的三明治交换变换(S2)模块,可以实现高分辨率图像上的通用,实时和高质量的风格转移。经全面实验验证,ArtNet 能够同时实现 68.03 FPS 的通用,实时,高质量的 512 x 512 图像的风格转移,较先前最先进的方法速度提高 2.3 到 107.4 倍。
Jun, 2020
本研究通过神经架构搜索 (NAS) 方法,针对 auto-encoder 图像风格迁移的结构,设计了包含 VGG-based 编码器、白化以及色彩变换 (WCT)、卷积核、标准化算子和跳跃连接的组合式搜索空间。利用并行进化多目标神经架构搜索算法找到了一组全新的具有 end-to-end 特性和更快速度的神经网络结构,取得了较好的效果。与现有的研究相比,在保留细节的同时节省了大量模型参数,快速地进行图像风格转换。
Jun, 2019
该研究介绍了一种基于深度学习技术的图像风格转换方法,通过引入内容图像的失真约束条件,应用于图像语义不同的部分,使用基于神经网络的图像分割方法和语义分组步骤进行自动分割处理,进一步提高了图像的美感效果,并且使得整个流程不依赖于用户交互的干预,具有广泛的应用前景。
Jan, 2019
该论文提出了一种新方法,可以通过一组手动可调参数在训练之后实时调整关键超参数,以使用户可以修改来自相同样式 / 内容图像对的合成输出,以寻找最喜欢的风格化图像。调整这些参数与用不同超参数重新训练模型相当,还演示了如何在保持风格和内容相似的情况下随机生成多样的结果。
Nov, 2018
本文提出了一种基于深度神经网络的算法,通过将图像的语义有意义的本地区域的艺术风格转移至目标视频的本地区域,同时保持其照片般的逼真性,并通过噪声和时间损失来优化视频的语义标签和平滑转换风格,最终实现一种能够自动生成视觉媒体的风格迁移方法。
Oct, 2020
本文提出了一种简单而有效的方法,通过引入自适应实例标准化(AdaIN)层,实现了实时的任意风格迁移,其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。
Mar, 2017