ICCVJun, 2020

LayoutTransformer：利用自注意力生成和完成版面

PDF
TL;DR本论文提出了一种新的框架 LayoutTransformer，可以通过自注意力学习布局元素之间的上下文关系，并在给定领域中生成新的布局，并能够在多个不同数据领域中表现出色。
发现论文，激发创造
  • 高分辨率稀疏注意力下的语义布局操作

    该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。

    Dec, 2020

  • 自监督摄影图像布局表示学习

    研究通过定义基本布局元素，将图像布局映射到异质图结构，引入自我监督学习和自定义损失函数，建立在这个基础上发展了一个能够高效地压缩图像布局的自动编码网络架构，并介绍了一个全面评估布局表示学习方法的基准数据集，实验证明该方法在摄影图像布局表示学习领域具有卓越的性能。

    Mar, 2024

  • 基于交叉注意力引导的无需训练的布局控制

    通过提示文本控制生成的图像在空间布局方面存在问题，因此我们提出了一种名为布局引导技术的新方法，该方法可以改进模型的交叉注意层，以实现所需的重建方向，并成功进行了定量和定性的实验验证与扩展。

    Apr, 2023

  • 通过布局结构建模增强视觉丰富文档的理解

    我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

    Aug, 2023

  • 变分转换器网络用于布局生成

    采用自注意力机制，提出了变分转换网络方法，可用于生成各种类型的布局，并可应用于文档布局检测管道中。

    Apr, 2021

  • 复杂场景生成的图像构图建模

    本文提出了一种基于 Transformer 和局部注意力机制的图片生成模型，相较于 CNN 和一些 Transformer 方法，该模型在复杂场景下的生成表现更加优秀，且提高了数据使用效率。

    Jun, 2022

  • 几何对齐变分转换器用于基于图像条件的布局生成

    本文探讨了一种新的图像条件布局生成的范式，通过采用自我关注机制和交叉关注机制来建立布局元素间的关系并结合条件图像的视觉信息生成各种布局，其中几何对齐模块可以消除元素域和视觉域之间的差距，在大规模广告海报布局设计数据集上进行的实验结果表明，我们的模型可以自适应地生成非侵入式区域的布局，从而实现和谐的布局设计。

    Sep, 2022

  • LayoutEnhancer: 从不完整数据中生成优秀的室内布局

    提出一种室内布局综合方法，该方法结合了领域专家的知识，如人体工程学等，以及基于 Transformer 架构的数据驱动生成器。通过使用从专家知识中获得的可微标量函数，生成的布局可以被偏置以显示所需的属性，即使这些属性不在数据集中存在。该方法可以改善生成式机器学习的建模，并为设计师和业余爱好者提供创造室内布局的新工具。

    Feb, 2022

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 全球地图：任意形状城市布局生成

    利用图注意力网络的自动建筑布局生成方法，支持任意道路网络，生成逼真的城市布局，并基于学习先验条件生成，相较先前的布局生成网络表现出卓越性能，为 28 个大城市生成不同建筑形状的布局。

    Jul, 2023