CVPRJan, 2021

自监督和半监督学习的指数移动平均归一化

PDF
TL;DR本论文提出了一种取代批量归一化（BN）的技术，叫做指数移动平均归一化（EMAN），它通过从学生的 BN 统计数据中指数移动平均来更新教师的统计数，减少了 BN 的样本间依赖，提高了教师的泛化能力。这种技术可以在自监督学习和半监督学习的基础上分别提高 4-6/1-2 个点和约 7/2 个点，效果稳定，且适用于各种网络结构和数据集。
发现论文，激发创造
  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • 如何扩展您的 EMA

    在存在模型 EMA 的优化中，我们提供了一个缩放规则，并证明其在各种架构、优化器和数据模态下的有效性，同时还展示了模型 EMA 对目标模型优化的贡献，使我们能够在小批量和大批量训练下使用 EMA 基于伪标记和自监督学习的方法，以最佳化 6 倍的壁钟时间降低的条件下训练 BYOL。

    Jul, 2023

  • Kaizen: 利用指数移动平均法不断提升教师的半监督语音识别技能

    介绍了使用 Kaizen 框架的半监督语音识别方法，该方法利用一个不断更新的教师模型为 ASR 生成伪标签，可用于不同培训准则，对于大规模的真实世界无监督公共英语和意大利语视频表现出 10% 以上的相对词误率（WER）降低。

    Jun, 2021

  • GAN 训练中平均化的非凡有效性

    本文研究了在 GAN 训练中参数平均的两种不同技术：移动平均和指数移动平均。作者提供了 EMA 技术的第一篇理论支持，并通过对许多数据集的实证实验验证了 EMA 和 MA 技术的显著有效性。

    Jun, 2018

  • 复合批标准化用于长尾图像分类

    提出了一种基于高斯混合模型的复合批量归一化方法来解决长尾数据分布下神经网络中特征标准化的问题，并通过使用类感知分裂特征标准化的双路径学习框架来多样化估计高斯分布，以更全面地适应训练样本的处理方式。在多个普遍使用的数据集上的广泛实验表明，该方法在长尾图像分类上优于现有方法。

    Dec, 2022

  • 临时教师切换半监督语义分割

    该研究论文介绍了一种名为双教师的简单而有效的方法，利用双临时教师解决了学生和教师权重耦合的问题，通过定期生成伪标签训练学生模型并保持不同特征，以显著缩短训练时间，并证明了该方法适用于各种模型。

    Oct, 2023

  • 指数权重平均作为阻尼谐振

    该论文研究了指数移动平均 (EMA) 在深度学习优化中的应用，提出了一种改进的训练算法 BELAY，通过物理类比分析 EMA 的有效性，并在理论和实证上证明了 BELAY 相对于标准 EMA 的几个优点。

    Oct, 2023

  • 动量自监督学习中的动量平方教师：利用动量统计量的动量教师

    本文提出了一种新的基于动量的师生自监督学习方法，使用小批量大小（例如 128），在 ImageNet 线性评估协议下，无需特殊硬件的大批量训练（如 TPU）或跨 GPU 操作（例如洗牌 BN，同步 BN），能够取得 74.5％的最新成果。

    Jan, 2021

  • 揭秘批归一化对于现实测试时适应性的作用

    该研究论文探讨了小批量数据受损的问题，通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性，引入了一种简单的工具 Test-time Exponential Moving Average (TEMA)，以弥补训练和测试批次之间的类别多样性差距，进而提高准确的目标估计，在不需要训练或调参的情况下显著提高模型的鲁棒性。

    Dec, 2023

  • Switch EMA：提供更好平缓度和锐度的免费午餐

    利用一行修改将 EMA 参数切换到原始模型并揭示了 Switch EMA（SEMA）的充分潜力，该方法能够帮助深度神经网络在平坦性和尖锐性之间取得更好的泛化最优解，并通过基于视觉和语言数据集的比较实验证实了 SEMA 的有效性。

    Feb, 2024