group normalization | BriefGPT

关键词group normalization

搜索结果 - 10

探索深度学习模型中使用群归一化在阿尔茨海默病分类中的有效性
使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。
PDF3 months ago
ELA：深度卷积神经网络的高效局部注意力
本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VO
PDF4 months ago
在联邦深度学习中优化批标准化
研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。
PDFa year ago
ICML使用规模标准化实现差分隐私残差网络训练
本研究提出通过添加 ScaleNorm 的简单架构调整方法，在残差网络中使用 Group Normalisation 来改善由 Differentially Private Stochastic Gradient Descent 训练的神经
PDF2 years ago
CVPR分组白化：平衡学习效率和表征能力
本文介绍了一种名为 Group Whitening 的新型批量归一化方法，该方法结合了白化方法和 Group Normalization 的优点，避免了普通批量归一化的缺点，并且从模型表征容量的角度，分析了批归一化的表征能力与批大小（组数）
PDF4 years ago
通过减少模型梯度差异提升半监督联邦学习
在研究中，我们探究了半监督联邦学习 (SSFL) 中模型梯度多样性的问题，并提出了一种基于组群的模型平均方法，同时使用一些设计选择，如一致性正则化 (CRL) 和分组归一化 (GN)，进一步提高了测试准确性。在相同设置下，我们的方法比当前关
PDF4 years ago
Filter Response Normalization 层：消除深度神经网络训练中的批次依赖性
本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的
PDF5 years ago
实例级元归一化
该研究提出一种称为 “ILM~Norm” 的规范化机制，它通过特征前馈和梯度反向传播路径学习预测规范化参数，适用于多种网络架构和任务，能够提高模型性能。
PDF5 years ago
深度卷积神经网络中有效高效的 dropout
本文主要研究卷积神经网络（CNNs）的正则化问题，提出了几种改进的 dropout 变体，通过在卷积操作之前放置 dropout 操作或将 BN 替换为 GN，以减少 dropout 和其后的 BN 之间的矛盾，以提高 CNNs 的训练效果
PDF5 years ago
组归一化
本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。
PDF6 years ago