重新思考空间自适应归一化
本文从高回报的角度,对空间自适应规范化进行了深入分析,发现其调制参数更加受到语义感知而非空间自适应的影响。在此观察的启发下,本文提出了一种轻量级但同样有效的类自适应规范化变体,称为 CLADE,并介绍了一种计算自语义布局的类内位置图编码,以调制 CLADE 的规范化参数,提出了一种真正的空间自适应变体,即 CLADE-ICPE。通过在多个具有挑战性的数据集上进行大量实验证明,所提出的 CLADE 方法可以推广到不同的基于 SPADE 的方法,并实现与 SPADE 相当的生成质量,而且具有更少的额外参数和更低的计算成本。
Dec, 2020
通过使用自适应规范化层来调整激活函数,我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像,这种方法可以提高视觉保真度和与输入布局的对齐度,并允许用户控制语义和风格。
Mar, 2019
提出了一种名为 SPADE 的新的方法,通过给定训练好的模型和目标样本,利用样本特定的修剪来提高深度学习模型的可解释性,并且发现样本特定的修剪可以解开多面性神经元,从而在解释性上得到持续的提升。
Oct, 2023
本文提出了一个黑盒谱方法 SPADEF,用于评估给定机器学习模型的对抗鲁棒性,它利用了构建输入 / 输出数据对应的流形的逆距离映射来进行,并通过广义 Courant-Fischer 定理提出了用于评估经过证明可以作为在流形设置下最佳 Lipschitz 常数的上界的 SPADE 分数。此外,通过利用占优广义特征向量,本文还开发了一种谱图嵌入过程,以揭示最易受到对抗攻击的最不鲁棒数据样本,并为更有效的对抗训练提供支持。经实验证明,所提出的 SPADE 方法对使用 MNIST 和 CIFAR-10 数据集进行对抗训练的神经网络模型具有良好的实验结果。
Feb, 2021
本文提出了一种新颖的语义和空间自适应(SSA)分类器,通过使用从固定原型获得的粗略掩码作为指导,在测试图像的语义和空间领域调整固定原型,从而同时考虑语义和空间领域中的自适应原型以完成分类决策,文章实验证明 SSA 显著提高了基线模型的分割性能,且计算成本仅略有增加。
May, 2024
本文提出了一种新的基于多分辨率特征金字塔的异常图像分割方法,该方法利用最近邻方法与深度学习特征相结合,无需预训练,能够取得无监督异常检测和区分最好的效果。
May, 2020
本文介绍了一种基于 SPAP 的建筑单元的学习方法,该方法可以轻松地集成到 GAN 和 CycleGAN 的生成器和鉴别器中,以促进有效的端到端生成式学习,在 Celeba-HQ-128 和 Image-to-Image 翻译数据集上得到了更好的性能。
Jan, 2019
本文提出了一种样式保留的调制方法,利用两个调制的过程表示上下文样式和语义布局,该方法可以注入给定的语义布局同时保留图像特定的上下文风格,并设计了渐进式结构来生成重新编辑内容,可以明显减轻生成区域与已知像素之间的不连续边界问题。
Jul, 2022