通过 SparsestMax 学习稀疏可切换归一化的 SSN

CVPRMar, 2019

通过 SparsestMax 学习稀疏可切换归一化的 SSN

SSN: Learning Sparse Switchable Normalization via SparsestMax

Wenqi Shao, Tianjian Meng, Jingyu Li, Ruimao Zhang, Yudian Li...

TL;DR本研究提出了一种稀疏切换归一化（SSN）方法，通过 SparsestMax 算法将学习的重要性约束为稀疏条件，保证每个规范化层只选择一个归一化器，从而提高了深度学习的性能，并在 ImageNet，Cityscapes，ADE20K 和 Kinetics 等数据集上得到了验证。

Abstract

Normalization methods improve both optimization and generalization of convnets. To further boost performance, the recently-proposed switchable normalization (SN) provides a new perspective for deep learning: it l

convnets switchable normalization sparse switchable normalization ssn deep learning

发现论文，激发创造

可切换规范化的微分学习

本文提出可切换标准化（SN），通过学习为深度神经网络的不同标准化层选择不同的标准化器来解决学习标准化问题。 SN 在计算统计量（均值和方差）时使用三个不同的范围，包括通道，层和批处理，并通过学习它们的重要性权重来在它们之间切换，从而能适应各种网络架构和任务，并且不会受到宽范围批量大小的影响，具有很强的稳健性。 SN 不需要敏感的超参数搜索，而且在各种挑战性的基准测试中具有良好的性能，例如 ImageNet，COCO，CityScapes，ADE20K 和 Kinetics。作者也进行了分析，希望 SN 能够有助于使用和理解深度学习中的标准化技术。

Jun, 2018

可切换的规范化用于深度表示学习的规范化

我们提出了可切换归一化（SN）来解决深度神经网络中学习正常化的问题。它有三个不同的范围来计算统计量（均值和方差），包括通道、层和 mini-batch。SN 通过学习它们的重要性权重来在它们之间切换。它适应各种网络架构和任务，对各种具有挑战性的基准如 ImageNet 表现非常出色，并且没有敏感的超参数。

Jul, 2019

深度表示学习的可切换美白

本论文提出 Switchable Whitening 算法，该算法将不同的白化方法和标准化方法统一，能够自适应地选择适当的白化或标准化统计量来处理不同的任务，从而取得了在多项视觉任务中的最佳表现。

Apr, 2019

图像分类的稀疏深度叠加网络

本文提出了一种稀疏深层堆叠网络（S-DSN），其中包括稀疏编码和加入混合范数规则的简化神经网络模块（SNNM），用于图像分类。实验结果表明，该模型在四个数据库中表现优异，尤其是在 15 个场景中达到了 98.8％的识别准确率。

Jan, 2015

学习深度表示的示例归一化

该论文使用范例规范化（EN）提出了一种动态学习归一化（L2N）问题，可以学习不同归一化方法，应用在深度神经网络的不同卷积层和图像样本中，可以用于图像识别、语义分割等任务，并在各种网络结构与任务中展现出效果显著的性能优势。

Mar, 2020

自标准化神经网络

本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。

Jun, 2017

神经网络和 GAN 中的稳定排名归一化以提高泛化能力

本篇论文提出一种新的权重规范化方法，即稳定秩规范化（SRN），可用于神经网络分类器和 GAN 中的分类器（SRN-GAN）。在实验中显示，使用 SRN 可以显著提高分类器和 GAN 生成结果的性能，同时减少记忆。

Jun, 2019

一种新型带有共享归一化的图像隐写分析卷积神经网络

该研究探索在图像隐写分析中，基于深度学习的技术，使用批量归一化和共享归一化提高原有模型的性能，并实验证明所提出的共享归一化技术在图像隐写分析中有稳定的表现且优于之前的方法。

Nov, 2017

可控稀疏 Softmax 替代方案

研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

Oct, 2018

稀疏神经网络学习激活函数

本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验，结果显示，与默认的训练协议相比，特别是在高剪枝率下，在 LeNet-5、VGG-16 和 ResNet-18 中的准确率分别提高了 15.53％、8.88％和 6.33％。

May, 2023