Mar, 2024

PLACE：自适应布局 - 语义融合的语义图像合成

PDF
TL;DR提出了 adaPtive LAyout-semantiC fusion modulE (PLACE) 以及附加的 Semantic Alignment (SA) loss，通过利用预训练模型来改善语义图像合成中的布局和语义问题，实现合成图像的真实细节和语义一致性。
pre-trained modelssemantic image synthesislayout control maptimestep-adaptive synthesissemantic alignment loss
发现论文，激发创造
  • 高分辨率稀疏注意力下的语义布局操作

    该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。

    Dec, 2020

  • 具有空间自适应规范化的语义图像合成

    通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。

    Mar, 2019

  • 无标签神经语义图像合成

    我们提出了一种新的无标签条件的扩散模型，通过神经语意图像合成从预训练基础模型提取的神经布局作为条件来实现细粒度的空间控制，实验结果表明，通过神经语意图像合成合成的图片在语义分类、实例分离和物体方向上比较传统的无标签条件选项更具优势，同时，我们还展示了通过神经布局条件生成的图片能够有效地用于训练各种感知任务。

    Jul, 2024

  • 通过类自适应交叉注意力实现语义图像合成

    我们设计了一种使用交叉注意力层代替反归一化层进行图像生成条件的新型架构，旨在实现全局和局部风格转换，并保留先进的重建质量。

    Aug, 2023

  • 层次化文本图像合成的语义布局推断

    本文提出一种新的基于语义布局的文本到图像的分层方法，通过语义布局生成器和图像生成器将生成过程分解为多个步骤完成，能够提高图像质量和与输入文本的语义对齐性。

    Jan, 2018

  • 语义调色板：使用类别比例引导场景生成

    该研究提出使用基于类比的语义控制生成城市场景的方法，并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外，作者还证明了用于数据增强的实用性。

    Jun, 2021

  • 基于语义感知的注意力神经嵌入在基于图像的视觉定位中的应用

    提出了一种新的，综合了外观和语义信息的 2D VL 定位方法，该方法使用多模态线索生成稳健的嵌入向量，其中利用了场景的语义布局的不变性，并提出了一个基于深度学习的注重注意力的框架来指导嵌入向量生成的过程，在三个具有挑战性的本地化数据集上测试，平均绝对提高了 19％，并且通过对模型各个组件进行广泛研究，证明了语义信息和注意模块的贡献。

    Dec, 2018

  • LAMPRET：面向布局的多模态文档预训练理解

    本论文提出了一种基于多模态 Transformer 的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

    Apr, 2021

  • LoCo：局部受限无训练布局到图像合成

    本文中，我们提出了一种名为 LoCo 的无需训练的布局到图像合成方法，能够通过引入局部化注意约束和填充令牌约束，对个体对象进行精确定位并防止合成对象的不良融合，并成功地集成到现有的文本到图像和布局到图像模型中，在多个基准测试中定性和定量地超越了既有的最先进的无需训练的布局到图像方法，展示了我们方法的优越性。

    Nov, 2023

  • 原型不可知场景布局的场景识别

    本文提出了一种无原型构建的场景布局方法，可以灵活地捕捉场景图像中的各种空间特征，并通过图卷积将两种拓扑结构（在空间和语义相似性维度中形成的）纳入图像表示中，最终达到了在 MIT67 和 SUN397 数据集上取得最先进结果，同时也证明了该方法的良好泛化性和竞争性能。

    Sep, 2019