神经风格化绘画
本文探讨了Gatys等人在文章“A Neural Algorithm of Artistic Style”中提出的样式迁移方法,进一步研究了样式空间,以及一些基于网络特征的新的样式表示,并讨论了如何实现局部和潜在的内容感知的样式迁移。
Feb, 2016
通过使用神经绘画家创造了一种新颖的基于人工画家的可微分的图像生成方法,同时提出了新的内容损失的概念,允许艺术媒介自然地决定由神经绘画生成的样式。
Apr, 2019
该论文提出了一个基于 GAN 框架的新方法,用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像;该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块,以增强风格一致性和内容约束,并取得了显著的合成性能提升。
Feb, 2020
本文提出了用参数化的画笔笔触来进行风格化处理的方法,并且引入了可微分的渲染机制,通过用户输入控制画笔笔触的流动,取得了显著的视觉效果和进一步控制风格化过程的能力。定性和定量的评估表明了参数化表征的有效性。
Mar, 2021
本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架,通过一个前馈网络来预测笔画集合的参数,从而实现在短时间内生成一个512 * 512的绘画。此外,作者设计了一个自学习流程,使其可以在没有任何预训练数据的情况下进行训练,并取得了比以往更好的绘画性能。
Aug, 2021
通过提出一种基于条件变换自动编码器 (VAE) 架构的双阶段解码器的创新方法 I-Paint,本研究旨在为用户在绘画过程中提供下一笔建议,以帮助提高创造力,并且通过引入两个新的数据集进行评估和刺激相关领域的研究。实验结果表明该方法提供良好的笔划建议,并与现有技术相比表现出优势。
Jul, 2023
通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程,提出了基于组合神经绘画家的stroke-based rendering框架,还借助可微分距离变换损失将该方法扩展到基于stroke的风格迁移,实验证明在stroke-based neural painting和stroke-based stylization方面,我们的模型优于现有模型。
Sep, 2023
我们提出了一种新技术Paint Neural Stroke Field(PaintNeSF),用于根据多视角2D图像生成3D场景的任意新视角的风格化图像。
Nov, 2023
本研究解决了传统笔触渲染方法在效率和实用性方面的不足,提出了MambaPainter,它能够在单次推理中预测超过100个笔触序列,从而大幅提升翻译速度。同时,通过选择性状态空间模型,MambaPainter在保持视觉质量的同时,扩展了基于补丁的渲染方式,适用于高分辨率图像的处理。实验结果显示,MambaPainter在将输入转换为油画风格图像方面,效率高于当前最先进的方法。
Oct, 2024
本研究解决了现有神经绘画方法推测笔划序列时推理时间长和训练不稳定的问题。提出的AttentionPainter模型通过一次前向过程预测大量笔划参数,显著加快了绘画过程,且采用快速笔划堆叠算法提高了训练效率。此外,新的笔划扩散模型对艺术家的设计具有促进作用。实验表明,AttentionPainter在性能上超越了现有的最先进神经绘画方法。
Oct, 2024