Oct, 2018

用深度 Q 网络和示范笔划学习素描

PDF
TL;DR通过 Stroke Demonstration 和 deep Q-learning (SDQ) 提出了 Doodle-SDQ 两阶段学习框架，该系统可以产生一系列的笔触行为来复制参考图，并模仿人类画家的行为。实验结果证实了，(1) 在没有直接的逐步行动监督的情况下可以学会 doodling 的技能；(2) Stroke Demonstration 通过监督学习的预训练对于提高性能是很重要的。同时 Doodle-SDQ 还可以有效地在不同类型的媒介中产生逼真的图像，包括草图和水彩画。
发现论文，激发创造
  • 深度机器人素描：基于深度 Q 学习网络的类人绘画应用

    该研究提出将深度 Q 学习神经网络引入艺术绘画机器人应用程序，旨在研究复杂控制策略对基础艺术绘画机器人应用程序性能的影响，并为将 DQN 方法引入复杂艺术绘画机器人框架的未来研究提供了首个基准。

    Feb, 2024

  • 基于模型的深度强化学习绘画

    通过在基于模型的深度强化学习中应用神经渲染器，我们展示了如何教授机器像人类画家一样用少量笔画来创作精美的油画。实验表明，不需要画家的经验或笔画跟踪数据，可以使用数百个笔画取得出色的视觉效果。

    Mar, 2019

  • 深度素描抽象学习

    本文提出了第一种基于笔画级别的速写抽象模型，并通过强化学习训练了一个笔画去除策略，该模型能够用于各种速写分析任务，包括建模笔画显著性、合成具有可变抽象度的速写以及使用仅照片训练细粒度速写检索模型。

    Apr, 2018

  • 使用神经符号生成模型绘制超出分布的图像

    本文提出了一种基于神经符号生成模型的笔画绘制方法，可以以无监督的方式学习泛化表征，实现对多种数据和任务的零泛化迁移，进一步探索了概念学习系统的通用性和鲁棒性。

    Jun, 2022

  • 改进的 SPIRAL 无监督涂鸦和绘画

    本研究探讨基于强化学习代理的图像生成模型，使用鉴别器网络提供奖励，并通过在模拟环境中训练控制器获得逼真的图像。研究发现，适当约束的生成代理可以学习产生带有一定视觉抽象度的图像，从而使一些绘画的方面从模拟实现，无需外部监督、模仿或社交引导，展示了该框架在创意应用中的潜力。

    Oct, 2019

  • 演示中的深度 Q 学习

    本文介绍了 Deep Q-learning from Demonstrations（DQfD）算法，并探究其应用于真实环境下学习任务的可行性以及其在模拟环境和真实环境中的表现；同时，DQfD 算法通过采用优先重放机制以及组合时差更新和监督学习来利用少量演示数据显著加速学习过程。实验表明，DQfD 相较于其他三种相关算法在学习任务中具有更好的表现，并可通过人类演示数据来实现一些领先于其他算法的新的最优成果。

    Apr, 2017

  • 素描绘画的神经表示

    该研究介绍了 Sketch-RNN，它是一种基于循环神经网络（RNN）的模型，能够构建常见对象的基于笔画的绘图，并描述了生成矢量格式的连贯笔画绘图的鲁棒性训练方法。

    Apr, 2017

  • 从弱演示中学习对话策略

    本研究提出一种基于 Deep Q-learning from Demonstrations 的 Reinforced Fine-tune Learning 方法，利用 labeled、reduced-labeled 和 unlabeled data 训练 expert demonstrators，以解决多领域对话系统中 state 和 action 空间较大的问题，并在实验中取得了较高的成功率。

    Apr, 2020

  • 创意草图生成

    该研究通过引入 Creative Birds 和 Creative Creatures 两个数据集，提出 DoodlerGAN–一种基于部件的生成式对抗网络，用于生成新的部件外观的未见过的构图，并通过定量评估和人类研究证明，与现有方法相比，其生成的草图更具创意和更高的质量。

    Nov, 2020

  • 结合语义指导与深度强化学习生成人类水平的绘画

    提出了一种语义引导的有效的神经网络模型，利用二级绘画过程来区分前景和背景笔画方法，并通过使用领域定位和空间转换器网络来保证前景对象的位置和比例不变，最后通过最大化基于感兴趣对象的导引反向传播来放大感兴趣对象的差异特征，从而实现了对前景对象属性变化的处理，能够在多前景对象的真实世界和虚拟场景中产生高质量的图像。

    Nov, 2020