Jun, 2023

关系感知扩散模型用于可控海报布局生成

PDF
TL;DR通过 visual-textual 和 geometry 关系感知模块，提出一种基于 CGL-Dataset V2 数据集的海报布局生成方法，可以考虑海报的视觉和文本内容以及元素之间的关系，生成能够传达文本信息的多样化的海报布局，优于现有方法。
poster layoutvisual-textual relationgeometry relationlayout generationposter layout dataset
发现论文，激发创造
  • 基于内容感知的视觉 - 文字展示布局的新基准与方法 --《海报布局

    本文旨在研究如何通过条件生成对抗网络来实现内容感知的视觉文字呈现布局，为自动无模板创意图形设计提供关键支持。通过设计一个名为 PosterLayout 的新数据集，并借助设计顺序形成技术，提出一种可生成适当布局的 CNN-LSTM 基于条件生成对抗网络，该方法在多个方面均取得了最佳性能。

    Mar, 2023

  • PosterLlama：连接语言模型的设计能力与内容感知布局生成

    PosterLlama 是一种生成视觉上连贯且文本相关的布局的网络，通过重新格式化布局元素为 HTML 代码并利用语言模型中嵌入的丰富设计知识来进行设计，通过独特的基于深度的海报增强策略提高模型的鲁棒性。在多个基准测试中，PosterLlama 在生成真实且内容感知的布局方面优于现有方法，支持无条件布局生成、元素条件布局生成、布局完成等条件，并作为一种高度灵活的用户操作工具。

    Apr, 2024

  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • GlyphDraw2：使用扩散模型和大型语言模型自动生成复杂字形海报

    我们提出了一种端到端的文本渲染框架，利用三重交叉关注机制在细致的背景环境中创建精确的海报文本，验证了该方法生成具有复杂和丰富背景的海报图像的能力。

    Jul, 2024

  • 学习生成科学论文海报

    本研究首次提出了一种数据驱动的框架，它利用图形模型解决了科学论文生成海报的复杂性和时间成本问题，并成功地创建了海报 - 论文数据集，定量和定性结果表明该方法非常有效。

    Apr, 2016

  • 基于分离扩散模型的统一布局生成

    本文提出了一种布局扩散生成模型，旨在构建元素分类、大小、位置和元素之间关系不同的图形场景中的图形布局。布局扩散生成模型通过解耦扩散算法实现了单个协调的布局生成任务。该方法可生成任意可用元素属性条件下的布局，实验证明其在功能和性能方面都优于现有的布局生成模型。

    Mar, 2023

  • 通过布局结构建模增强视觉丰富文档的理解

    我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

    Aug, 2023

  • 检索增强式布局变换器用于内容感知布局生成

    本文介绍了一种名为 RALF 的模型，它通过检索相似的布局示例来提高内容感知图形布局的生成质量，并成功地在不受限制和受限制的环境中生成高质量的布局。

    Nov, 2023

  • 通过具有美学约束的扩散模型实现对齐布局生成

    提出了一种统一模型，用于处理广泛的布局生成任务，包括使用指定属性排列元素和完善粗糙布局设计。该模型基于连续扩散模型，并通过掩码输入引入条件。广泛的实验结果表明，该模型能够产生高质量的布局，并且优于现有的最先进基线。

    Feb, 2024

  • LayoutDiffusion：可控的布局到图像生成扩散模型

    本文提出了一种名为 LayoutDiffusion 的扩散模型，通过构建结构图像块来解决布局与图像的多模态融合的难点，并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制，实现比现有方法更高的生成质量和更高的可控性。

    Mar, 2023