神经画家:一种学习到可微分的约束,用于生成绘画的笔触
本文提出了一种图像到绘画的翻译方法,采用矢量化环境并产生一系列具有物理意义的绘画参数,然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程,结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。
Nov, 2020
本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架,通过一个前馈网络来预测笔画集合的参数,从而实现在短时间内生成一个 512 * 512 的绘画。此外,作者设计了一个自学习流程,使其可以在没有任何预训练数据的情况下进行训练,并取得了比以往更好的绘画性能。
Aug, 2021
协作神经绘画是一个新的任务,目标是支持人机共同完成连贯绘画的过程,以一系列参数化的笔触作为绘画表示,在图像生成领域中采用扩散模型作为基本学习过程,并提供了一个新的数据集和评估协议来验证该方法的有效性和潜力。
Dec, 2023
通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程,提出了基于组合神经绘画家的 stroke-based rendering 框架,还借助可微分距离变换损失将该方法扩展到基于 stroke 的风格迁移,实验证明在 stroke-based neural painting 和 stroke-based stylization 方面,我们的模型优于现有模型。
Sep, 2023
通过在基于模型的深度强化学习中应用神经渲染器,我们展示了如何教授机器像人类画家一样用少量笔画来创作精美的油画。实验表明,不需要画家的经验或笔画跟踪数据,可以使用数百个笔画取得出色的视觉效果。
Mar, 2019
该论文提出了一种新的绘画方法 Intelli-Paint,它可以学习生成具有更加自然的绘画风格的输出幅面。该方法通过引入渐进层叠策略、依据语义指导刷子移动以及刷子规范化策略等 3 个策略,成功地实现了 60-80% 的刷子数目减少而不影响画面的质量。
Dec, 2021
通过提出一种基于条件变换自动编码器 (VAE) 架构的双阶段解码器的创新方法 I-Paint,本研究旨在为用户在绘画过程中提供下一笔建议,以帮助提高创造力,并且通过引入两个新的数据集进行评估和刺激相关领域的研究。实验结果表明该方法提供良好的笔划建议,并与现有技术相比表现出优势。
Jul, 2023
提出了一种语义引导的有效的神经网络模型,利用二级绘画过程来区分前景和背景笔画方法,并通过使用领域定位和空间转换器网络来保证前景对象的位置和比例不变,最后通过最大化基于感兴趣对象的导引反向传播来放大感兴趣对象的差异特征,从而实现了对前景对象属性变化的处理,能够在多前景对象的真实世界和虚拟场景中产生高质量的图像。
Nov, 2020
本文提出了用参数化的画笔笔触来进行风格化处理的方法,并且引入了可微分的渲染机制,通过用户输入控制画笔笔触的流动,取得了显著的视觉效果和进一步控制风格化过程的能力。定性和定量的评估表明了参数化表征的有效性。
Mar, 2021
该论文提出了一种结合机器和人类艺术家的方法,通过生成模型和渲染模型,将艺术家的风格融入机器人绘画中,并证实了该方法的可行性和有效性。
Jul, 2020