Mar, 2021

卷积归一化: 提高深度卷积网络的鲁棒性和训练效果

HTML
PDF
TL;DR介绍了一种基于卷积结构的归一化方法(Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络(ConvNets)中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的Lipschitzness并且提高GAN性能和普适性。
发现论文，激发创造
  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练mini-batch的操作中进行标准化，解决了此问题，在Image Classification上取得了优秀的表现。

    Feb, 2015

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用L2批归一化的替代方案，包括L1和L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 神经网络训练中的稀疏偏差校正：为何不使用0填充？

    本研究提出变量稀疏问题，并通过实验证明了零值归零处理方法在处理缺失数据时性能不佳，提出了一种名为 Sparsity Normalization 的技术，该技术直接解决了变量稀疏问题，并在多个基准数据集上得到了实验验证。

    Jun, 2019

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 卷积神经网络综述: 分析，应用和前景

    本文综述了卷积神经网络的历史，概述了卷积神经网络的结构，介绍了一些基础和高级模型，并通过实验分析总结了一些适用函数的经验法则。此外，本文还涵盖了一维、二维和多维卷积的应用，并讨论了卷积神经网络面临的一些问题和未来的方向。

    Apr, 2020

  • 无归一化高性能大规模图像识别

    本研究提出一种适应性梯度裁剪技术，用于训练基于 ResNet 框架的新型无归一化层神经网络（Normalizer-Free ResNets）。实验表明，这种无归一化层的神经网络在 ImageNet 图像分类准确率上可达到 state-of-the-art 水平，并且具有更快的训练速度以及更好的细调效果。

    Feb, 2021

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其RKHS由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • ReLU网络中批归一化的解析：等价的凸优化模型与隐式正则化

    本文通过凸优化的视角分析Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用Batch Normalization训练的带有权重衰减的ReLU网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸BN网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准BN网络的性能。

    Mar, 2021

  • GAN的稀疏感知归一化

    本文提出了一种新的归一化方法（SAN），并通过大量实验证明，与现有的方法相比，SAN能够在GAN的训练中取得更好的效果。SAN考虑了稀疏性，并且在ReLU激活的卷积网络中特别有效，并且在图像到图像翻译任务中表现出更好的性能，并且能够在较少的训练时期内以及较小的容量网络中发挥作用，而且几乎不需要计算开销。

    Mar, 2021

  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过14亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022