Dec, 2020

高分辨率稀疏注意力下的语义布局操作

PDF
TL;DR该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。
semantic image layout manipulationvisual details transfersparse attention modulegenerator architectureimprovements
发现论文，激发创造
  • 通过类自适应交叉注意力实现语义图像合成

    我们设计了一种使用交叉注意力层代替反归一化层进行图像生成条件的新型架构，旨在实现全局和局部风格转换，并保留先进的重建质量。

    Aug, 2023

  • 基于语义感知的注意力神经嵌入在基于图像的视觉定位中的应用

    提出了一种新的，综合了外观和语义信息的 2D VL 定位方法，该方法使用多模态线索生成稳健的嵌入向量，其中利用了场景的语义布局的不变性，并提出了一个基于深度学习的注重注意力的框架来指导嵌入向量生成的过程，在三个具有挑战性的本地化数据集上测试，平均绝对提高了 19％，并且通过对模型各个组件进行广泛研究，证明了语义信息和注意模块的贡献。

    Dec, 2018

  • PLACE：自适应布局 - 语义融合的语义图像合成

    提出了 adaPtive LAyout-semantiC fusion modulE (PLACE) 以及附加的 Semantic Alignment (SA) loss，通过利用预训练模型来改善语义图像合成中的布局和语义问题，实现合成图像的真实细节和语义一致性。

    Mar, 2024

  • 层次化文本图像合成的语义布局推断

    本文提出一种新的基于语义布局的文本到图像的分层方法，通过语义布局生成器和图像生成器将生成过程分解为多个步骤完成，能够提高图像质量和与输入文本的语义对齐性。

    Jan, 2018

  • 具有空间自适应规范化的语义图像合成

    通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。

    Mar, 2019

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • 语义图像合成的双重注意力生成对抗网络

    本文提出一种新颖的双重注意力生成对抗网络（DAGAN），利用 position-wise 空间注意力模块和 scale-wise 通道注意力模块，从输入布局中综合地捕捉了语义结构注意力，实现了从语义标签到具有细节的照片逼真图像的生成。实验结果表明 DAGAN 相较于现有方法在多项数据集上实现了更好的结果，同时使用更少的模型参数。

    Aug, 2020

  • 基于交叉注意力引导的无需训练的布局控制

    通过提示文本控制生成的图像在空间布局方面存在问题，因此我们提出了一种名为布局引导技术的新方法，该方法可以改进模型的交叉注意层，以实现所需的重建方向，并成功进行了定量和定性的实验验证与扩展。

    Apr, 2023

  • 通过结构化表示学习分层语义图像处理

    本论文提出了一种基于结构化语义布局的图像操作分层框架，使用户可以通过添加、删除和移动一个边界框来对图像进行对象级别的操作。实验证明，该分层框架可以在语义对象操作、交互式图像编辑和数据驱动的图像操作等方面带来优势。

    Aug, 2018

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021