MMAug, 2019

使用实例层规范化的 U-Net 训练

PDF
TL;DR本文提出了一种基于 Sigmoid 函数和分组归一化的 Instance-Layer Normalization (ILN) 层，用于 DCNN 的浅层特征图融合。使用 U-Net 作为 DCNN 架构以右心室和左心室的图像分割为例，验证了 ILN 在各种常见规格网络上的有效性，优于传统的与流行的归一化方法。
normaliztion layersdcnnbatch-instance normalizationinstance-layer normalizationu-net
发现论文，激发创造
  • U-Net 的训练中的标准化对 2D 生物医学语义分割的影响

    本文探讨了四种不同的归一化方法（BN，IN，LN 和 GN），并进行了详细比较以用于 2D 生物医学语义分割，结果表明大群组 GN 或 IN 的细分特征映射可以实现更高的准确性，主要来自于更好的模型泛化能力。

    Sep, 2018

  • 本地上下文标准化：再探本地标准化

    本文介绍了一种名为 LCN 的局部上下文归一化方法，它比常见的 GN、IN、LN 等归一化层在目标检测、语义分割和实例分割应用中表现更好，并且使性能独立于批量大小和便于迁移学习。

    Dec, 2019

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 自适应样式不变神经网络的批量实例归一化

    通过 Batch-Instance Normalization 技术，能够显式地将图像中不必要的样式进行规范化，从而对识别性任务的结果产生了惊人的提升，理论有效性得到了实验验证。

    May, 2018

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023

  • 学习深度表示的示例归一化

    该论文使用范例规范化（EN）提出了一种动态学习归一化（L2N）问题，可以学习不同归一化方法，应用在深度神经网络的不同卷积层和图像样本中，可以用于图像识别、语义分割等任务，并在各种网络结构与任务中展现出效果显著的性能优势。

    Mar, 2020

  • 同时进行：通过 IBN-Net 增强学习和泛化能力

    IBN-Net 是一种卷积神经网络结构，它通过融合实例归一化和批量归一化，能显著提高 CNN 在一个领域（例如 Cityscapes）的建模能力以及在另一个领域（例如 GTA5）的泛化能力，并且适用于许多先进的深度网络。

    Jul, 2018

  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • MLA-BIN：基于模型层次的注意力和批次实例风格规范化方法，用于医学图像分割的联邦学习领域泛化

    本文提出了 MLA-BIN 来解决联邦学习中的领域泛化问题，在医疗图像分割任务上经过了广泛的实验验证，证明其优于现有的最先进方法。

    Jun, 2023

  • 批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

    本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

    Feb, 2018