神经风格化绘画
本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架,通过一个前馈网络来预测笔画集合的参数,从而实现在短时间内生成一个 512 * 512 的绘画。此外,作者设计了一个自学习流程,使其可以在没有任何预训练数据的情况下进行训练,并取得了比以往更好的绘画性能。
Aug, 2021
通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程,提出了基于组合神经绘画家的 stroke-based rendering 框架,还借助可微分距离变换损失将该方法扩展到基于 stroke 的风格迁移,实验证明在 stroke-based neural painting 和 stroke-based stylization 方面,我们的模型优于现有模型。
Sep, 2023
本文提出了用参数化的画笔笔触来进行风格化处理的方法,并且引入了可微分的渲染机制,通过用户输入控制画笔笔触的流动,取得了显著的视觉效果和进一步控制风格化过程的能力。定性和定量的评估表明了参数化表征的有效性。
Mar, 2021
通过使用神经绘画家创造了一种新颖的基于人工画家的可微分的图像生成方法,同时提出了新的内容损失的概念,允许艺术媒介自然地决定由神经绘画生成的样式。
Apr, 2019
通过提出一种基于条件变换自动编码器 (VAE) 架构的双阶段解码器的创新方法 I-Paint,本研究旨在为用户在绘画过程中提供下一笔建议,以帮助提高创造力,并且通过引入两个新的数据集进行评估和刺激相关领域的研究。实验结果表明该方法提供良好的笔划建议,并与现有技术相比表现出优势。
Jul, 2023
我们提出了一种新技术 Paint Neural Stroke Field(PaintNeSF),用于根据多视角 2D 图像生成 3D 场景的任意新视角的风格化图像。
Nov, 2023
本文提出一种方法,将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合,利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数,在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练,并能够推广到以前未观察到的作品。我们证明,学习到的嵌入空间是平滑的,并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。
May, 2017
协作神经绘画是一个新的任务,目标是支持人机共同完成连贯绘画的过程,以一系列参数化的笔触作为绘画表示,在图像生成领域中采用扩散模型作为基本学习过程,并提供了一个新的数据集和评估协议来验证该方法的有效性和潜力。
Dec, 2023
提出了一种语义引导的有效的神经网络模型,利用二级绘画过程来区分前景和背景笔画方法,并通过使用领域定位和空间转换器网络来保证前景对象的位置和比例不变,最后通过最大化基于感兴趣对象的导引反向传播来放大感兴趣对象的差异特征,从而实现了对前景对象属性变化的处理,能够在多前景对象的真实世界和虚拟场景中产生高质量的图像。
Nov, 2020
本论文介绍了一种从三维形状中生成艺术风格化线条图案的模型,其输入为三维形状及视角,输出为带有纹理笔触的绘画,包括笔画粗细、变形和颜色,可以从艺术家的风格中学习。该模型是全可微分的,并训练其参数来自三维形状的单个训练图形。相对于之前基于图像的方法,使用 3D 形状和 2D 笔画的几何表达方式允许模型传输形状和纹理风格的重要方面,同时保留轮廓。我们的方法以向量表示形成的绘画,可用于交互式应用中的更丰富后续分析或编辑。
Oct, 2021