Oct, 2023

克服连续学习中规范化统计的新陈代谢偏见：平衡和适应

PDF
TL;DR持续学习在深度神经网络中的应用及其在适应性平衡方面的理论分析。通过提出适应性平衡的批归一化策略 (AdaB2N)，在各种基准测试中显著提高了性能。
continual learningdeep neural networksbatch normalizationadaptive balanceonline scenarios
发现论文，激发创造
  • Continual Normalization: 重新思考批归一化的在线连续学习

    本文针对在线连续学习中使用批标准化（BN）时的非独立异分布和不稳定性的特征，提出 Continual Normalization (CN) 方法以缓解 BN 在老任务中的负面影响和低效率，并通过实验结果，说明 CN 可直接取代 BN 且可大幅提高性能。

    Mar, 2022

  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016

  • 基于范例的类增量学习的归一化平衡化

    本研究通过针对基于样本的类增量学习（CIL）任务开发了一种新的 Batch Normalization（BN）更新模式 ——Task-Balanced BN（TBBN），通过使用 reshape 和 repeat 操作以及水平拼接任务平衡批来更好地解决训练数据不平衡问题，实验结果表明 TBBN 是一种超参数自由的变体，并且在 CIFAR-100，ImageNet-100 和五个不同的任务数据集上都优于其他的 BN 变体。

    Jan, 2022

  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018

  • 流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

    提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

    Oct, 2016

  • 对协变量偏移的测试时间批次统计校准

    本文提出了一种基于 alpha-BN 的测试时间适应框架 Core，通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地，在没有任何训练的情况下，我们的 alpha-BN 改进了 28.4％至 43.9％，甚至超过了最新的源无关域自适应方法。

    Oct, 2021

  • 批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

    本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

    Feb, 2018

  • 记忆批归一化的双向传播

    本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

    Oct, 2020

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018