DoodleFormer:基于Transformer的创意素描绘画
Sketchformer是一种基于transformer的表示方法,用于以矢量形式编码手绘草图,有效地解决了多个任务:草图分类、基于草图的图像检索(SBIR)以及草图的重建和插值,可显著提高复杂草图和长笔画序列的重建和插值表现。
Feb, 2020
本研究提出了BezierSketch作为全矢量、高分辨率的生成模型,采用新颖的逆向图形学方法将每个笔画嵌入到其最佳Bezier曲线中。通过使用这个模型,我们成功训练了一个具有更大容量生成长时间草图的递归草图生成器,并且取得了较好的定性和定量结果。
Jul, 2020
该研究通过引入Creative Birds和Creative Creatures两个数据集,提出DoodlerGAN–一种基于部件的生成式对抗网络,用于生成新的部件外观的未见过的构图,并通过定量评估和人类研究证明,与现有方法相比,其生成的草图更具创意和更高的质量。
Nov, 2020
文章提出了一种通过decoder使用StyleGAN训练生成更加真实的照片,并且通过autoregressive sketch mapper和fine-grained discriminative loss处理手绘人类草图,实现草图到照片的转化;实验结果展示了其可行性和有效性,同时通过草图检索出生成的照片实现了在草图界的突破。
Mar, 2023
本论文中,我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法DiffSketcher,并使用预训练的图像扩散模型进行开发。
Jun, 2023
通过与文本交互的过程,本文提出了一种名为SketchDreamer的方法,利用基于像素表示的图像的文本条件扩散模型训练来生成受控素描,并使文本和素描能够相互作用,以实现非专业用户创作素描,并将叙述扩展为故事板。
Aug, 2023
我们介绍了一种与艺术家的迭代细化过程相适应的新型素描到图像工具。我们的工具允许用户绘制出粗略表示物体放置和形状的阻塞笔触以及用于精炼形状和轮廓的详细笔触。我们开发了一个两步算法,从这些素描中的任意时刻生成高保真度图像。第一步中,我们使用ControlNet生成完全遵循所有笔触(阻塞笔触和详细笔触)的图像,第二步通过给阻塞笔触周围的区域添加噪声来增加变异性。我们还提出了一种数据集生成方案,用于训练ControlNet架构,使不包含笔触的区域被解释为尚未指定的区域而不是空白空间。我们展示了这种部分素描感知的ControlNet能够从仅含少量笔触的部分素描中生成连贯的元素。我们的方法生成的高保真度图像可以作为脚手架,帮助用户调整物体的形状和比例,或者在构图中添加额外的元素。我们通过各种例子和评估性比较证明了我们方法的有效性。
Feb, 2024
通过揭示素描在扩散模型中的潜力,解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程,证实现有模型变形的空间限制性问题。为了纠正这个问题,我们提出了一种意识到抽象的框架,利用素描适配器,自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导,协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行,无需文本提示;一张简单的草图就像你和我都可以创建的草图一样,就足够了!我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导,通过大量实验证实。
Mar, 2024
通过将可变长度的矢量草图压缩为固定维度的潜在空间并将其作为时间和笔画的函数进行隐式编码,我们提出了SketchINR,可以改进矢量草图的表示。尽管其简单性,SketchINR在多个任务上优于现有的表示方法。
Mar, 2024