ICCVAug, 2021

画笔变换器：带有笔触预测的前馈神经绘画

PDF
TL;DR本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架，通过一个前馈网络来预测笔画集合的参数，从而实现在短时间内生成一个 512 * 512 的绘画。此外，作者设计了一个自学习流程，使其可以在没有任何预训练数据的情况下进行训练，并取得了比以往更好的绘画性能。
neural paintingreinforcement learningstroke optimizationtransformer-based frameworkself-training pipeline
发现论文，激发创造
  • 神经风格化绘画

    本文提出了一种图像到绘画的翻译方法，采用矢量化环境并产生一系列具有物理意义的绘画参数，然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程，结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。

    Nov, 2020

  • 基于笔画的神经绘画和风格化技术与动态预测的绘画区域

    通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程，提出了基于组合神经绘画家的 stroke-based rendering 框架，还借助可微分距离变换损失将该方法扩展到基于 stroke 的风格迁移，实验证明在 stroke-based neural painting 和 stroke-based stylization 方面，我们的模型优于现有模型。

    Sep, 2023

  • 神经画家：一种学习到可微分的约束，用于生成绘画的笔触

    通过使用神经绘画家创造了一种新颖的基于人工画家的可微分的图像生成方法，同时提出了新的内容损失的概念，允许艺术媒介自然地决定由神经绘画生成的样式。

    Apr, 2019

  • 协作神经绘画

    协作神经绘画是一个新的任务，目标是支持人机共同完成连贯绘画的过程，以一系列参数化的笔触作为绘画表示，在图像生成领域中采用扩散模型作为基本学习过程，并提供了一个新的数据集和评估协议来验证该方法的有效性和潜力。

    Dec, 2023

  • 结合语义指导与深度强化学习生成人类水平的绘画

    提出了一种语义引导的有效的神经网络模型，利用二级绘画过程来区分前景和背景笔画方法，并通过使用领域定位和空间转换器网络来保证前景对象的位置和比例不变，最后通过最大化基于感兴趣对象的导引反向传播来放大感兴趣对象的差异特征，从而实现了对前景对象属性变化的处理，能够在多前景对象的真实世界和虚拟场景中产生高质量的图像。

    Nov, 2020

  • 交互式神经绘画

    通过提出一种基于条件变换自动编码器 (VAE) 架构的双阶段解码器的创新方法 I-Paint，本研究旨在为用户在绘画过程中提供下一笔建议，以帮助提高创造力，并且通过引入两个新的数据集进行评估和刺激相关领域的研究。实验结果表明该方法提供良好的笔划建议，并与现有技术相比表现出优势。

    Jul, 2023

  • 基于模型的深度强化学习绘画

    通过在基于模型的深度强化学习中应用神经渲染器，我们展示了如何教授机器像人类画家一样用少量笔画来创作精美的油画。实验表明，不需要画家的经验或笔画跟踪数据，可以使用数百个笔画取得出色的视觉效果。

    Mar, 2019

  • Painter: 教授自回归语言模型绘制素描

    通过生成对应的画笔笔触，我们应用大规模语言模型（LLMs）将用户的文本描述格式转化为草图，实现了自动一代图片生成的先驱性工作。

    Aug, 2023

  • ProcessPainter: 从序列数据中学习绘画过程

    通过合成数据预训练，在一组艺术家的绘画序列的细微调整下进行微调的文本到视频模型 ProcessPainter 首次成功地从文本提示生成了绘画过程。此外，引入了 Artwork Replication Network，能接受任意帧输入，促进了绘画过程的可控生成和艺术品的复制。本文提供了推动艺术教育和图像生成技术发展的新视角和工具。

    Jun, 2024

  • 智能绘画：发展类人绘画智能体

    该论文提出了一种新的绘画方法 Intelli-Paint，它可以学习生成具有更加自然的绘画风格的输出幅面。该方法通过引入渐进层叠策略、依据语义指导刷子移动以及刷子规范化策略等 3 个策略，成功地实现了 60-80% 的刷子数目减少而不影响画面的质量。

    Dec, 2021