CVPRMar, 2019

具有空间自适应规范化的语义图像合成

PDF
TL;DR通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。
发现论文，激发创造
  • 通过类自适应交叉注意力实现语义图像合成

    我们设计了一种使用交叉注意力层代替反归一化层进行图像生成条件的新型架构，旨在实现全局和局部风格转换，并保留先进的重建质量。

    Aug, 2023

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • 通过类适应归一化实现高效语义图像合成

    本文从高回报的角度，对空间自适应规范化进行了深入分析，发现其调制参数更加受到语义感知而非空间自适应的影响。在此观察的启发下，本文提出了一种轻量级但同样有效的类自适应规范化变体，称为 CLADE，并介绍了一种计算自语义布局的类内位置图编码，以调制 CLADE 的规范化参数，提出了一种真正的空间自适应变体，即 CLADE-ICPE。通过在多个具有挑战性的数据集上进行大量实验证明，所提出的 CLADE 方法可以推广到不同的基于 SPADE 的方法，并实现与 SPADE 相当的生成质量，而且具有更少的额外参数和更低的计算成本。

    Dec, 2020

  • 高分辨率稀疏注意力下的语义布局操作

    该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。

    Dec, 2020

  • PLACE：自适应布局 - 语义融合的语义图像合成

    提出了 adaPtive LAyout-semantiC fusion modulE (PLACE) 以及附加的 Semantic Alignment (SA) loss，通过利用预训练模型来改善语义图像合成中的布局和语义问题，实现合成图像的真实细节和语义一致性。

    Mar, 2024

  • 半参数图像合成

    采用半参数方法进行基于语义布局的摄影图像合成：利用训练集中构建的图像片段的记忆库与深度网络相结合，比目前纯参数化技术更能生成逼真的图像。

    Apr, 2018

  • 级联精化网络的照片图像合成

    该研究证明使用带有适当结构的前馈网络进行直接回归，而不必依赖对抗性训练，可以从语义布局中合成具有照片外貌的图像，并通过实验证明此方法比其他方法更加逼真。

    Jul, 2017

  • 重新思考空间自适应归一化

    通过 ROI 分析，我们发现在 SPA 上的优势主要来自于其对语义信息的敏感性，而不是其对适应性位置的适应性。 因此，我们提出了一个轻量级变种 CLADE，它不适应空间位置或布局。 CLADE 极大地降低了计算成本，同时仍然能够在生成过程中保持语义信息。

    Apr, 2020

  • 区域自适应规范化在语义人像生成中的应用

    提出了一种新的两阶段框架来处理姿势和外观的转化，通过区域自适应规范化，利用区域风格指导目标外观生成，生成更语义化、一致性和逼真的结果。

    Apr, 2021

  • SEAN: 带有语义区域自适应归一化的图像合成

    提出语义区域自适应归一化 (SEAN) 的算法，可在生成对抗网络中应用分割掩模控制图像的语义区域样式，具有更好的重构质量和可变性，并可用于交互式图像编辑。

    Nov, 2019