Dec, 2023

StarVector: 从图像生成可扩展矢量图形代码

PDF
TL;DRScalable Vector Graphics (SVGs) have become integral in modern image rendering applications. This paper introduces StarVector, a multimodal SVG generation model that effectively integrates Code Generation Large Language Models (CodeLLMs) and vision models.
scalable vector graphicssvg generationdeep learningcode generation large language modelsstarvector
发现论文，激发创造
  • SuperSVG: 基于超像素的可缩放矢量图形合成

    提出了一种基于超像素的矢量化模型 SuperSVG，它通过将输入图像分解成超像素，采用两阶段自训练框架和动态路径扭曲损失来实现图像的快速高精度矢量化。与现有方法相比，该方法在重建精度和推理时间方面表现出更优的性能。

    Jun, 2024

  • 超越像素：探索视觉语言模型生成简单图像的人类可读 SVG

    通过引入我们的方法（Simple-SVG-Generation，简称 S extsuperscript {2} VG extsuperscript {2}），我们专注于生成准确且简单的 SVG 图像，与人类的可读性和理解力相一致，通过与先进的语言模型一起进行推理任务的简单图像评估，结果显示与先前的 SVG 生成方法相比有明显的改进。我们还对生成的 SVG 可读性进行了人类评估的调查，结果也对我们的方法持利好态度。

    Nov, 2023

  • DeepSVG：用于矢量图形动画的分层生成网络

    本文提出了一种新颖的分层生成网络 DeepSVG，可用于生成和插值 SVG 图标。研究者通过引入一个新的大规模数据集并结合开源 SVG 操作库，证明了该网络能准确重建各种矢量图形，并可作为强大的动画工具。

    Jul, 2020

  • 利用大型语言模型实现可扩展矢量图像驱动的图像理解

    本文介绍了一种新的、探索性的方法，使大型语言模型能够使用可缩放矢量图形（SVG）格式来处理图像。我们的方法旨在弥合视觉和文本模态之间的鸿沟，允许 LLM 直接理解和操作图像，而无需参数化的视觉组件。通过简单的图像分类、生成和上下文学习，我们展示了我们方法的潜力在鉴别性和生成性任务上，强调了其对分布偏移的鲁棒性以及通过利用 LLM 的上下文学习能力实现的重大提高。

    Jun, 2023

  • VectorFusion: 基于像素扩散模型的文本到 SVG 的抽象转换

    该研究使用扩散模型和分数蒸馏采样，通过对像素图像的文本条件训练生成可导出为 SVG 的矢量图形，并在优化可微分的矢量图形栅格化器方面实现了语义知识的提取，实验结果表明其较之于过去的工作具有更高的生成质量和更丰富的样式，包括像素艺术和手绘图。

    Nov, 2022

  • 神经路径表示下的文本向量生成

    通过设计双分支变分自编码器 (VAE) 的神经路径表示，我们提出了一种新颖的神经路径表示，从序列和图像模态中学习路径潜在空间，通过优化神经路径的组合，我们可以在生成的 SVG 中融入几何约束的同时保持表达力。此外，我们引入了一种两阶段路径优化方法，用于改进生成的 SVG 的视觉和拓扑质量。

    May, 2024

  • 文本引导的矢量图形自定义

    提出了一种基于文本提示生成高质量定制化矢量图形的新型流程，该流程利用大型预训练的文本到图像模型的能力，在保留给定示例 SVG 的属性和分层信息的同时生成定制化的光栅图像，方法中引入了基于语义的路径对齐方法以保留和转换关键路径，使用图像级和矢量级损失优化路径参数以确保平滑的形状变形与定制化的光栅图像对齐，通过从矢量级、图像级和文本级多个角度对其进行评估，评估结果表明该流程在生成具有优秀质量的矢量图形定制化方面具有有效性。

    Sep, 2023

  • SVGDreamer：基于扩散模型的文本引导 SVG 生成

    SVGDreamer 是一种新颖的文本引导的矢量图合成方法，通过语义驱动的图像矢量化过程和基于注意力的原语控制，与基线方法相比，在可编辑性、视觉质量和多样性方面表现出更高的优越性。

    Dec, 2023

  • 基于文本的矢量图形推理

    大型多模态模型在广泛的视觉语言基准测试中表现出色，但在需要对底层视觉细节进行精确感知的任务中（如比较线段长度或解决简单迷宫问题），常常遇到困难。针对这一挑战，我们提出了一种名为 Visually Descriptive Language Model（VDLM）的模型，它在二维矢量图形领域进行基于文本的推理。通过使用可伸缩矢量图形（SVG）进行精确的视觉描述，并通过预先训练的语言模型建立 SVG 和 PVD 之间的桥梁，VDLM 实现了更强的零样本性能，能够推广到各种基于二维矢量图形的低级多模态感知和推理任务。

    Apr, 2024

  • 可伸缩矢量图形的学习表示

    该研究利用生成模型建立向量图形的连续生成模型，从而刻画字体绘制过程，提供了一种可操作的样式传播方法，有望成为平面设计师进行字体设计的工具。

    Apr, 2019