Jun, 2024

ProcessPainter: 从序列数据中学习绘画过程

PDF
TL;DR通过合成数据预训练，在一组艺术家的绘画序列的细微调整下进行微调的文本到视频模型 ProcessPainter 首次成功地从文本提示生成了绘画过程。此外，引入了 Artwork Replication Network，能接受任意帧输入，促进了绘画过程的可控生成和艺术品的复制。本文提供了推动艺术教育和图像生成技术发展的新视角和工具。
painting processart educationresearch areastext-to-video modelartwork replication network
发现论文，激发创造
  • 绘制多个过去：合成油画时间变迁视频

    提出了一种新的视频合成任务：合成时光流逝视频，展示给定绘画作品可能是如何创建的，通过概率模型和 CNN 的训练方案，实现了从有限的绘画时光流逝数据集中学习并合成出类似于真实艺术家制作的时光流逝视频。

    Jan, 2020

  • 面向算法绘画的创意过程建模

    本文提出了一个基于人类创意实践的艺术画作算法计算模型框架，包括不确定的高层目标，发现新想法的探索过程以及迭代式的绘画过程等。

    May, 2022

  • 画笔变换器：带有笔触预测的前馈神经绘画

    本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架，通过一个前馈网络来预测笔画集合的参数，从而实现在短时间内生成一个 512 * 512 的绘画。此外，作者设计了一个自学习流程，使其可以在没有任何预训练数据的情况下进行训练，并取得了比以往更好的绘画性能。

    Aug, 2021

  • Painter: 教授自回归语言模型绘制素描

    通过生成对应的画笔笔触，我们应用大规模语言模型（LLMs）将用户的文本描述格式转化为草图，实现了自动一代图片生成的先驱性工作。

    Aug, 2023

  • 神经风格化绘画

    本文提出了一种图像到绘画的翻译方法，采用矢量化环境并产生一系列具有物理意义的绘画参数，然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程，结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。

    Nov, 2020

  • 协作神经绘画

    协作神经绘画是一个新的任务，目标是支持人机共同完成连贯绘画的过程，以一系列参数化的笔触作为绘画表示，在图像生成领域中采用扩散模型作为基本学习过程，并提供了一个新的数据集和评估协议来验证该方法的有效性和潜力。

    Dec, 2023

  • 智能绘画：发展类人绘画智能体

    该论文提出了一种新的绘画方法 Intelli-Paint，它可以学习生成具有更加自然的绘画风格的输出幅面。该方法通过引入渐进层叠策略、依据语义指导刷子移动以及刷子规范化策略等 3 个策略，成功地实现了 60-80% 的刷子数目减少而不影响画面的质量。

    Dec, 2021

  • 文本到艺术图像生成

    通过神经网络，从文字描述生成一张与特定风格和流派匹配的艺术图片，为手残人士提供一种表达思想和创造的途径。

    May, 2022

  • 黑白随笔：由文本描述生成绘画

    本文针对从文字获取真实风格的图片和使用图片风格实现真实画作两个任务，探索了两种策略，即生成真实图片并应用风格转移和训练图像生成模型，然后在后期精调含有标题的画作。最后评估了这两种模型，并进行了用户研究以获取反馈。

    Feb, 2023

  • 基于分割的参数化绘画

    我们介绍了一种新颖的图像到绘画的方法，它能够以人类般的质量和风格变化创造大规模、高保真度的绘画作品。通过引入基于分割的绘画过程和受人类绘画策略启发的动态注意力地图方法，我们可以处理大尺寸的图像并对绘画过程进行控制，从而在不同图像区域上进行刷画优化，捕捉到大尺度的结构和细节，同时也允许对细节进行风格控制。我们优化的批处理和基于补丁的损失框架实现了对大画布的高效处理，确保我们的绘画作品在审美上具有吸引力，并在功能上优于以前的方法，经过了严格的评估。可在以下网址找到代码：this https URL

    Nov, 2023