Mar, 2024

基于聚类的神经网络标准化层

HTML
PDF
TL;DR深度学习面临的挑战包括内部协变量偏移、标签偏移、梯度消失/爆炸、过拟合和计算复杂性。本文引入基于聚类的规范化方法 (CB-Norm) 的两个变种——有监督聚类规范化 (SCB-Norm) 和无监督聚类规范化 (UCB-Norm)，提出了一种突破性的一步规范化方法。CB-Norm利用高斯混合模型来解决与梯度稳定性和学习加速相关的挑战。SCB-Norm引入了预定义的数据分区，通过分配的聚类来规范化激活。UCB-Norm动态地对神经元激活进行聚类，适应任务特定的挑战，而不依赖预定义的数据分区。这种双重方法确保了对多样化学习场景的灵活应对。CB-Norm创新地采用一步规范化的方法，其中每个混合成分的参数（激活空间中的聚类）作为深度神经网络的权重。这种自适应聚类过程在训练过程中同时解决了聚类和深度神经网络任务的分辨率，标志着该领域的一个显著进步。
发现论文，激发创造
  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练mini-batch的操作中进行标准化，解决了此问题，在Image Classification上取得了优秀的表现。

    Feb, 2015

  • 标准化传播：一种参数技术用于消除深层网络中的内部协变量移位

    介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个Batch的训练，进一步减少了运算复杂性。

    Mar, 2016

  • 规范化规范器：比较和扩展网络规范化方案

    本文提出一种归一化技术——分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

    Nov, 2016

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 训练DNNs中的归一化技术：方法论、分析与应用

    本文回顾和评价了正则化方法在深度神经网络训练中的过去、现在和未来，提供了有关优化背后动机的统一图像，并提出了理解其相似之处和差异的分类法。此外，对正则化激活方法的管道进行了分解，并讨论了应用正则化解决核心问题的具体任务的应用。

    Sep, 2020

  • 基于自然聚类先验的深度学习理解

    该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究，尝试辨别深度学习系统中隐含的聚类能力、机制和超参数，评估它们对解释这些系统的泛化能力的相关性，从而阐述了先验知识在机器学习设计中的重要性。

    Mar, 2022

  • 频域下的批量归一化

    本文介绍了一种新的在频域归一化特征图的有效方法 - 频谱批量归一化（SBN），通过实验证明该方法可以避免特征图在初始化时和整个训练过程中的爆炸问题，使得深度神经网络的表现得到了显著提高。

    Jun, 2023

  • 统一批标准化：识别和缓解批标准化中的特征压缩问题和一个统一框架

    本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了3%的ImageNet分类的top-1准确率，展示了该方法在实际场景中的有效性。

    Nov, 2023

  • 自适应上下文归一化：深度学习在图像处理中的提升

    本研究解决了深度神经网络在图像处理领域面临的分布变化导致模型收敛和性能下降的问题。提出了一种新颖的自适应上下文归一化方法，通过将具有相似特征的数据归为同一上下文并共同归一化参数，显著提高了速度与收敛性，从而在性能上超越了经典的批量归一化和混合归一化方法。

    Sep, 2024

  • 无监督自适应归一化

    本研究解决了深度神经网络中反向传播期间激活分布变化导致的梯度不稳定问题。通过引入无监督自适应归一化（UAN）算法，结合了聚类和归一化的过程，使神经元激活动态适应特定任务需求，显著提高了学习速度和网络性能。UAN在分类和领域适应任务中表现优于传统方法。

    Sep, 2024