Dec, 2020

通过类适应归一化实现高效语义图像合成

PDF
TL;DR本文从高回报的角度，对空间自适应规范化进行了深入分析，发现其调制参数更加受到语义感知而非空间自适应的影响。在此观察的启发下，本文提出了一种轻量级但同样有效的类自适应规范化变体，称为 CLADE，并介绍了一种计算自语义布局的类内位置图编码，以调制 CLADE 的规范化参数，提出了一种真正的空间自适应变体，即 CLADE-ICPE。通过在多个具有挑战性的数据集上进行大量实验证明，所提出的 CLADE 方法可以推广到不同的基于 SPADE 的方法，并实现与 SPADE 相当的生成质量，而且具有更少的额外参数和更低的计算成本。
spatially-adaptive normalizationsemantic-awarenessclass-adaptive normalizationintra-class positional map encodingconditional semantic image synthesis
发现论文，激发创造
  • 重新思考空间自适应归一化

    通过 ROI 分析，我们发现在 SPA 上的优势主要来自于其对语义信息的敏感性，而不是其对适应性位置的适应性。 因此，我们提出了一个轻量级变种 CLADE，它不适应空间位置或布局。 CLADE 极大地降低了计算成本，同时仍然能够在生成过程中保持语义信息。

    Apr, 2020

  • 具有空间自适应规范化的语义图像合成

    通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。

    Mar, 2019

  • 具有保留风格调节的上下文一致的语义图像编辑

    本文提出了一种样式保留的调制方法，利用两个调制的过程表示上下文样式和语义布局，该方法可以注入给定的语义布局同时保留图像特定的上下文风格，并设计了渐进式结构来生成重新编辑内容，可以明显减轻生成区域与已知像素之间的不连续边界问题。

    Jul, 2022

  • 语义分割的语义空间自适应像素级分类器

    本文提出了一种新颖的语义和空间自适应（SSA）分类器，通过使用从固定原型获得的粗略掩码作为指导，在测试图像的语义和空间领域调整固定原型，从而同时考虑语义和空间领域中的自适应原型以完成分类决策，文章实验证明 SSA 显著提高了基线模型的分割性能，且计算成本仅略有增加。

    May, 2024

  • 通过类自适应交叉注意力实现语义图像合成

    我们设计了一种使用交叉注意力层代替反归一化层进行图像生成条件的新型架构，旨在实现全局和局部风格转换，并保留先进的重建质量。

    Aug, 2023

  • SPADE：深度神经网络的稀疏指导调试

    提出了一种名为 SPADE 的新的方法，通过给定训练好的模型和目标样本，利用样本特定的修剪来提高深度学习模型的可解释性，并且发现样本特定的修剪可以解开多面性神经元，从而在解释性上得到持续的提升。

    Oct, 2023

  • 利用深度金字塔对应关系进行子图异常检测

    本文提出了一种新的基于多分辨率特征金字塔的异常图像分割方法，该方法利用最近邻方法与深度学习特征相结合，无需预训练，能够取得无监督异常检测和区分最好的效果。

    May, 2020

  • SPADE: 用于黑盒对抗鲁棒性评估的谱方法

    本文提出了一个黑盒谱方法 SPADEF，用于评估给定机器学习模型的对抗鲁棒性，它利用了构建输入 / 输出数据对应的流形的逆距离映射来进行，并通过广义 Courant-Fischer 定理提出了用于评估经过证明可以作为在流形设置下最佳 Lipschitz 常数的上界的 SPADE 分数。此外，通过利用占优广义特征向量，本文还开发了一种谱图嵌入过程，以揭示最易受到对抗攻击的最不鲁棒数据样本，并为更有效的对抗训练提供支持。经实验证明，所提出的 SPADE 方法对使用 MNIST 和 CIFAR-10 数据集进行对抗训练的神经网络模型具有良好的实验结果。

    Feb, 2021

  • 图像合成和图像到图像翻译中的学习空间金字塔注意池化

    本文介绍了一种基于 SPAP 的建筑单元的学习方法，该方法可以轻松地集成到 GAN 和 CycleGAN 的生成器和鉴别器中，以促进有效的端到端生成式学习，在 Celeba-HQ-128 和 Image-to-Image 翻译数据集上得到了更好的性能。

    Jan, 2019

  • 大规模对象检测的空间语义规范化

    本文提出了一种基于亲和力传播聚类的多类空间语义规范化方法，通过在图像中所有类别和提议位置上同时进行优化来改进所选检测提议的定位和分类，为包含成千上万类别的大规模物体检测提供了有效的解决方案。

    Oct, 2015