MMSep, 2023

基于笔画的神经绘画和风格化技术与动态预测的绘画区域

PDF
TL;DR通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程，提出了基于组合神经绘画家的 stroke-based rendering 框架，还借助可微分距离变换损失将该方法扩展到基于 stroke 的风格迁移，实验证明在 stroke-based neural painting 和 stroke-based stylization 方面，我们的模型优于现有模型。
发现论文，激发创造
  • 神经风格化绘画

    本文提出了一种图像到绘画的翻译方法，采用矢量化环境并产生一系列具有物理意义的绘画参数，然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程，结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。

    Nov, 2020

  • 画笔变换器：带有笔触预测的前馈神经绘画

    本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架，通过一个前馈网络来预测笔画集合的参数，从而实现在短时间内生成一个 512 * 512 的绘画。此外，作者设计了一个自学习流程，使其可以在没有任何预训练数据的情况下进行训练，并取得了比以往更好的绘画性能。

    Aug, 2021

  • 神经画家：一种学习到可微分的约束，用于生成绘画的笔触

    通过使用神经绘画家创造了一种新颖的基于人工画家的可微分的图像生成方法，同时提出了新的内容损失的概念，允许艺术媒介自然地决定由神经绘画生成的样式。

    Apr, 2019

  • PaintNeSF: 用矢量化的 3D 笔画进行风格化景物的艺术创作

    我们提出了一种新技术 Paint Neural Stroke Field（PaintNeSF），用于根据多视角 2D 图像生成 3D 场景的任意新视角的风格化图像。

    Nov, 2023

  • 结合语义指导与深度强化学习生成人类水平的绘画

    提出了一种语义引导的有效的神经网络模型，利用二级绘画过程来区分前景和背景笔画方法，并通过使用领域定位和空间转换器网络来保证前景对象的位置和比例不变，最后通过最大化基于感兴趣对象的导引反向传播来放大感兴趣对象的差异特征，从而实现了对前景对象属性变化的处理，能够在多前景对象的真实世界和虚拟场景中产生高质量的图像。

    Nov, 2020

  • 神经笔触：三维形状的风格化线描

    本论文介绍了一种从三维形状中生成艺术风格化线条图案的模型，其输入为三维形状及视角，输出为带有纹理笔触的绘画，包括笔画粗细、变形和颜色，可以从艺术家的风格中学习。该模型是全可微分的，并训练其参数来自三维形状的单个训练图形。相对于之前基于图像的方法，使用 3D 形状和 2D 笔画的几何表达方式允许模型传输形状和纹理风格的重要方面，同时保留轮廓。我们的方法以向量表示形成的绘画，可用于交互式应用中的更丰富后续分析或编辑。

    Oct, 2021

  • 重新思考风格迁移：从像素到参数化笔画

    本文提出了用参数化的画笔笔触来进行风格化处理的方法，并且引入了可微分的渲染机制，通过用户输入控制画笔笔触的流动，取得了显著的视觉效果和进一步控制风格化过程的能力。定性和定量的评估表明了参数化表征的有效性。

    Mar, 2021

  • 协作神经绘画

    协作神经绘画是一个新的任务，目标是支持人机共同完成连贯绘画的过程，以一系列参数化的笔触作为绘画表示，在图像生成领域中采用扩散模型作为基本学习过程，并提供了一个新的数据集和评估协议来验证该方法的有效性和潜力。

    Dec, 2023

  • 基于模型的深度强化学习绘画

    通过在基于模型的深度强化学习中应用神经渲染器，我们展示了如何教授机器像人类画家一样用少量笔画来创作精美的油画。实验表明，不需要画家的经验或笔画跟踪数据，可以使用数百个笔画取得出色的视觉效果。

    Mar, 2019

  • 基于分割的参数化绘画

    我们介绍了一种新颖的图像到绘画的方法，它能够以人类般的质量和风格变化创造大规模、高保真度的绘画作品。通过引入基于分割的绘画过程和受人类绘画策略启发的动态注意力地图方法，我们可以处理大尺寸的图像并对绘画过程进行控制，从而在不同图像区域上进行刷画优化，捕捉到大尺度的结构和细节，同时也允许对细节进行风格控制。我们优化的批处理和基于补丁的损失框架实现了对大画布的高效处理，确保我们的绘画作品在审美上具有吸引力，并在功能上优于以前的方法，经过了严格的评估。可在以下网址找到代码：this https URL

    Nov, 2023