internal covariate shift | BriefGPT

关键词internal covariate shift

搜索结果 - 6

您的网络可能需要重写：基于高维函数图解的网络对抗
通过网络对抗方法，使用不同的激活函数解决传统 MLP + 激活函数模式中的内在双稳问题，提高训练效率和预测准确率。
PDF2 months ago
U-Net 的训练中的标准化对 2D 生物医学语义分割的影响
本文探讨了四种不同的归一化方法（BN，IN，LN 和 GN），并进行了详细比较以用于 2D 生物医学语义分割，结果表明大群组 GN 或 IN 的细分特征映射可以实现更高的准确性，主要来自于更好的模型泛化能力。
PDF6 years ago
CVPR联合神经元解决深度学习中的内部协变量转移问题
本文提出一种用链接神经元解决内部协变量转移和死亡神经元问题的方法，通过将多个神经元链接在一起，在保持相同操作点和至少一个非零梯度的情况下，有效避免神经元死亡，从而减少训练时间和去除归一化需求。
PDF7 years ago
ICML标准化传播：一种参数技术用于消除深层网络中的内部协变量移位
介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Bat
PDF8 years ago
ICML正则化自编码器为何学习稀疏表示？
提出了一种名为 Normalization Propagation 的非自适应标准化技术，它的作用类似于批量归一化方法，但其不依赖于批量统计数据，能够有效解决 BN 方法的缺点，同时具有更高的计算效率。
PDF9 years ago
批量标准化：通过减少内部协变量漂移加速深层神经网络训练
该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。
PDF9 years ago