Apr, 2024

大型多模式模型的图形设计

PDF
TL;DR在图形设计领域，自动化地将设计元素整合为一个连贯的多层艺术作品不仅提高了工作效率，还为图形设计的大众化铺平了道路。本文介绍了一种称为 Hierarchical Layout Generation (HLG) 的更灵活和实用的设置，它从无序的设计元素集合中创建图形构图。通过基于大型多模态模型的图形生成模型 Graphist，我们有效地将 HLG 作为一个序列生成问题来解决，并利用 RGB-A 图像作为输入，输出一个 JSON 草稿协议，指示每个元素的坐标、大小和顺序。我们开发了新的 HLG 评估指标，Graphist 在性能上超过了以往的技术，为该领域奠定了坚实的基础。项目主页：[此处为项目主页的链接]
graphic designautomatingcohesive multi-layered artworkhierarchical layout generationgraphist
发现论文，激发创造
  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • PosterLLaVa: 基于 LLM 的统一多模式布局生成器构建

    我们研究了自动生成图形布局的统一框架，利用多模态大型语言模型（MLLM）适应不同的设计任务，并进行了大量实验验证其在公开多模态布局生成基准上的卓越性能，同时提出了两个新数据集，进一步验证了该模型在现实生活中的实用性。

    Jun, 2024

  • 通过潜在优化实现约束图形布局生成

    本文提出了一种基于 Transformer 框架的生成布局模型，可以灵活地融合设计语义，支持用户隐式或显式地指定元素排列约束，并展示了该模型在单模型下可以生成真实的布局。

    Aug, 2021

  • LayoutGPT：大型语言模型的构成性可视化规划与生成

    LayoutGPT 是一种利用 LLMS 生成样式表语言的方法，能够生成多个视觉域中的可信布局，包括三维室内场景；当与下游图像生成模型相结合时，比文本到图像模型系统表现更好，并可在正确性方面与人类用户进行比较，同时在 3D 室内场景合成方面也与监督方法实现相当的性能。

    May, 2023

  • COLE: 图形设计的层次生成框架

    介绍了一个名为 COLE 的分层生成框架，用于将简单的意图提示转化为高质量的平面设计，并支持根据用户输入进行灵活编辑，通过分解任务、合作模型和整合结果，提供了生成可靠性的显著提升。

    Nov, 2023

  • 基于分离扩散模型的统一布局生成

    本文提出了一种布局扩散生成模型，旨在构建元素分类、大小、位置和元素之间关系不同的图形场景中的图形布局。布局扩散生成模型通过解耦扩散算法实现了单个协调的布局生成任务。该方法可生成任意可用元素属性条件下的布局，实验证明其在功能和性能方面都优于现有的布局生成模型。

    Mar, 2023

  • 基于 UI 语法引导的 LLMs 的 UI 布局生成

    最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

    Oct, 2023

  • PosterLlama：连接语言模型的设计能力与内容感知布局生成

    PosterLlama 是一种生成视觉上连贯且文本相关的布局的网络，通过重新格式化布局元素为 HTML 代码并利用语言模型中嵌入的丰富设计知识来进行设计，通过独特的基于深度的海报增强策略提高模型的鲁棒性。在多个基准测试中，PosterLlama 在生成真实且内容感知的布局方面优于现有方法，支持无条件布局生成、元素条件布局生成、布局完成等条件，并作为一种高度灵活的用户操作工具。

    Apr, 2024

  • 面向语言引导的交互式 3D 生成：LLMs 作为布局解释器与生成反馈

    该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。

    May, 2023

  • 神经设计网络：约束下的图形布局生成

    本文提出了一种利用神经设计网络 (NDN) 生成满足用户指定约束条件的设计布局的方法，被实验评估证明生成的设计布局与真实设计布局非常相似，并且在布局推荐方面具有实际应用价值。

    Dec, 2019