MMSep, 2022

几何对齐变分转换器用于基于图像条件的布局生成

PDF
TL;DR本文探讨了一种新的图像条件布局生成的范式，通过采用自我关注机制和交叉关注机制来建立布局元素间的关系并结合条件图像的视觉信息生成各种布局，其中几何对齐模块可以消除元素域和视觉域之间的差距，在大规模广告海报布局设计数据集上进行的实验结果表明，我们的模型可以自适应地生成非侵入式区域的布局，从而实现和谐的布局设计。
layout generationcomputer visionimage-conditionedautoencodersaliency map
发现论文，激发创造
  • 变分转换器网络用于布局生成

    采用自注意力机制，提出了变分转换网络方法，可用于生成各种类型的布局，并可应用于文档布局检测管道中。

    Apr, 2021

  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • 基于形状 - 图像 - 文本对齐潜在表示的 Michelangelo 条件 3D 形状生成

    本文提出利用对齐预处理的方法来生成 3D shape，通过 shape-image-text-aligned space 对三种模态进行转换，并且通过两种模型提升生成效果

    Jun, 2023

  • LayoutTransformer：利用自注意力生成和完成版面

    本论文提出了一种新的框架 LayoutTransformer，可以通过自注意力学习布局元素之间的上下文关系，并在给定领域中生成新的布局，并能够在多个不同数据领域中表现出色。

    Jun, 2020

  • 检索增强式布局变换器用于内容感知布局生成

    本文介绍了一种名为 RALF 的模型，它通过检索相似的布局示例来提高内容感知图形布局的生成质量，并成功地在不受限制和受限制的环境中生成高质量的布局。

    Nov, 2023

  • GeoLayoutLM: 视觉信息提取的几何预训练

    本文提出了一种名为 GeolayoutLM 的多模态框架，通过显式地建模提前准备阶段的几何关系来解决 Visual information extraction 领域中 semantic entity recognition 和 relation extraction 模型中的局限性，并在相关基准测试中取得了竞争性的高分数。

    Apr, 2023

  • 基于版面的图像生成

    Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

    Nov, 2018

  • 基于交叉注意力引导的无需训练的布局控制

    通过提示文本控制生成的图像在空间布局方面存在问题，因此我们提出了一种名为布局引导技术的新方法，该方法可以改进模型的交叉注意层，以实现所需的重建方向，并成功进行了定量和定性的实验验证与扩展。

    Apr, 2023

  • TransGaGa：几何感知的无监督图像到图像翻译

    本文采用解缠和翻译框架解决复杂物体的图像翻译任务，使用外观和几何空间提取出独立但互补的表示，并分开翻译。实验结果表明，该方法在接近刚性和非刚性物体翻译任务中的表现优于其他最先进方法，同时支持多模式翻译。

    Apr, 2019

  • 从场景图和自注意力生成 3D 场景

    使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

    Apr, 2024