本文提出了一种使用变压器模块和稀疏对比损失函数进行物体放置的图像合成方法，可以实现快速的交互搜索和在实际场景中泛化。

Apr, 2023

本论文旨在改进文本布局交互，提出了一种新的多模态预训练模型 LayoutMask，该模型使用本地 1D 位置作为布局输入，并具有两个预训练目标：掩码语言建模和掩码位置建模，LayoutMask 可以增强文本和布局模态之间的交互，并为下游任务生成自适应和鲁棒的多模态表示。

May, 2023

本文提出了一种基于端到端可训练神经网络的方法，以在图像的语义标签地图中插入特定类别的对象实例。该神经网络由两个生成模块组成，一个用于确定插入的对象掩码位置和比例，另一个用于确定对象掩码形状和姿态。两个模块由一个空间变换网络连接并联合训练，该学习过程利用了监督和无监督数据集，实验证明该模型能够在图像中的多个位置插入不同外观的物体，并具有较好的准确性。

Dec, 2018

本文提出的 LayoutLMv3 是一种用于文档人工智能的多模态 Transformer 的预训练方法，用于统一文本和图像遮蔽，并通过预测文本单词的对应图像块是否被遮蔽的方式进行跨模态对齐。实验结果表明，LayoutLMv3 不仅在文本中心任务中实现了最先进的性能，而且在以图像为中心的任务中也是如此。

Apr, 2022

提出了第一个框架，用于保留单个图像的视觉属性并编辑其布局，并通过文本反演和优化方法实现多对象特征的分离和布局控制，从而优于其他支持此任务的基线。

Jun, 2023

通过 SmartMask 和 ControlNet-Inpaint 模型，本文介绍了一种能够实现优秀的目标插入效果并更有效地保护背景内容的方法，此方法不仅可以在用户创建详细掩码的情况下运行，还可以在无掩码条件下进行多样位置和比例的目标插入，并且还可以与基于指导的规划模型协同工作从头设计布局，相比于基于用户草图的布局设计方法，SmartMask 产生更高质量的布局图像。

Dec, 2023

本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

Apr, 2022

该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

Mar, 2020

本文提出了一种新的视觉 - 语言预训练模型 ——ImageBERT，用于图像 - 文本联合嵌入，该模型基于 Transformer，可以将不同的模态作为输入，并建模它们之间的关系。通过多阶段的预训练策略，可以提高预训练质量，最终在图像检索和文本检索任务上获得了新的最先进结果。

Jan, 2020

Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

Nov, 2018