SVGCraft：基于全面画布布局的单一物体文本到 SVG 合成

Mar, 2024

SVGCraft：基于全面画布布局的单一物体文本到 SVG 合成

SVGCraft: Beyond Single Object Text-to-SVG Synthesis with Comprehensive Canvas Layout

Ayan Banerjee, Nityanand Mathur, Josep Lladós, Umapada Pal, Anjan Dutta

TL;DRSVGCraft 是一个新颖的整体场景生成框架，通过使用预训练的语言模型进行布局生成、精确物体定位和融合机制，以及使用漫扩散 U-Net 进行合成，优化生成的 SVG 图像，并探索在受限环境中利用原始形状进行画布补全的潜力。通过定性和定量评估，SVGCraft 在抽象性、可识别性和细节方面超越了之前的工作。

Abstract

Generating VectorArt from text prompts is a challenging vision task, requiring diverse yet realistic depictions of the seen as well as unseen entities. However, existing research has been mostly limited to the generation of single objects, rather than comprehensive scenes comprising multiple elements. In response, this work introduces SVGCraft, a novel end-t

vector graphics scene generation layout generation object placement canvas completion

发现论文，激发创造

文本引导的矢量图形自定义

提出了一种基于文本提示生成高质量定制化矢量图形的新型流程，该流程利用大型预训练的文本到图像模型的能力，在保留给定示例 SVG 的属性和分层信息的同时生成定制化的光栅图像，方法中引入了基于语义的路径对齐方法以保留和转换关键路径，使用图像级和矢量级损失优化路径参数以确保平滑的形状变形与定制化的光栅图像对齐，通过从矢量级、图像级和文本级多个角度对其进行评估，评估结果表明该流程在生成具有优秀质量的矢量图形定制化方面具有有效性。

Sep, 2023

TextCraft: 从文本生成高保真度和多样性形状的零射击方法

TextCraft 使用多分辨率和离散的潜在空间生成高保真且多样化的 3D 模型，过程中使用 CLIP 作为条件，并结合变形器模型和无分类器引导方法，优于其他同领域研究。

Nov, 2022

VectorFusion: 基于像素扩散模型的文本到 SVG 的抽象转换

该研究使用扩散模型和分数蒸馏采样，通过对像素图像的文本条件训练生成可导出为 SVG 的矢量图形，并在优化可微分的矢量图形栅格化器方面实现了语义知识的提取，实验结果表明其较之于过去的工作具有更高的生成质量和更丰富的样式，包括像素艺术和手绘图。

Nov, 2022

想象一下！从脚本到作品再到影片

该研究介绍了一种名为 CRAFT 的模型，可以通过视频字幕数据学习空间，视觉和语义世界知识，预测提及实体的时间布局，从视频数据库中检索时空实体帧段并融合它们来生成视频。CRAFT 的关键贡献包括组件的连续训练，合并布局和外观的共同建模，以及鼓励学习检索构成表示的损失。该模型在语义一致性、构成一致性和视觉质量上均表现出色。

Apr, 2018

SVGDreamer：基于扩散模型的文本引导 SVG 生成

SVGDreamer 是一种新颖的文本引导的矢量图合成方法，通过语义驱动的图像矢量化过程和基于注意力的原语控制，与基线方法相比，在可编辑性、视觉质量和多样性方面表现出更高的优越性。

Dec, 2023

神经路径表示下的文本向量生成

通过设计双分支变分自编码器 (VAE) 的神经路径表示，我们提出了一种新颖的神经路径表示，从序列和图像模态中学习路径潜在空间，通过优化神经路径的组合，我们可以在生成的 SVG 中融入几何约束的同时保持表达力。此外，我们引入了一种两阶段路径优化方法，用于改进生成的 SVG 的视觉和拓扑质量。

May, 2024

基于自回归变换器的文本驱动矢量图标合成

IconShop 是一种使用自回归变换器的文本引导矢量图标合成方法，通过将 SVG 路径（和文本描述）串行化和分词为一个唯一可解码的命令序列，实现各种图标合成和操作任务，它优于现有的基于图像和基于语言的方法，在图标合成性能（使用 FID 和 CLIP 分数）和质量方面都更好，并具有更好的生成多样性和灵活性，同时还可以进行文本引导的图标填充和混合合成。

Apr, 2023

交互式素描填充：多类素描到图像翻译

本文提出了一种交互式的基于 GAN 的草图到图像的翻译方法，能够帮助新手用户创建简单物体的图像，通过引入基于门控机制的分类条件方法，可以在不混合特征的情况下从单个生成器网络中生成不同的类别。

Sep, 2019

Zero-Painter: 无需训练的文本 - 图像合成布局控制

我们提出了 Zero-Painter，这是一个针对布局条件下的文本到图像合成的新型无需训练的框架，有助于从文本提示中创建细节丰富且可控的图像。我们的方法利用物体掩码和个别描述以及全局文本提示来生成高保真度的图像。Zero-Painter 采用了一个两阶段过程，其中包括我们的新型 Prompt-Adjusted Cross-Attention (PACA) 和 Region-Grouped Cross-Attention (ReGCA) 块，确保生成的对象与文本提示和掩码形状精确对齐。我们广泛的实验表明，Zero-Painter 在保留文本细节和符合掩码形状方面超过了当前的最先进方法。

Jun, 2024

CityCraft：一个用于 3D 城市生成的真实制作工具

CityCraft 是一种创新框架，结合了三个关键阶段来增强城市场景的多样性和质量，它包括使用扩散变压器模型生成 2D 城市布局，利用大型语言模型根据用户提示和语言指南制定土地利用规划，以及通过资产检索模块和 Blender 进行精确的资产放置和场景构建。CityCraft 在生成逼真的 3D 城市方面取得了最先进的性能。

Jun, 2024