Jun, 2021

Kaizen: 利用指数移动平均法不断提升教师的半监督语音识别技能

PDF
TL;DR介绍了使用 Kaizen 框架的半监督语音识别方法，该方法利用一个不断更新的教师模型为 ASR 生成伪标签，可用于不同培训准则，对于大规模的真实世界无监督公共英语和意大利语视频表现出 10% 以上的相对词误率（WER）降低。
kaizen frameworksemi-supervised speech recognitionteacher modelhybrid hmm-dnnctc-based models
发现论文，激发创造
  • 临时教师切换半监督语义分割

    该研究论文介绍了一种名为双教师的简单而有效的方法，利用双临时教师解决了学生和教师权重耦合的问题，通过定期生成伪标签训练学生模型并保持不同特征，以显著缩短训练时间，并证明了该方法适用于各种模型。

    Oct, 2023

  • 自监督和半监督学习的指数移动平均归一化

    本论文提出了一种取代批量归一化（BN）的技术，叫做指数移动平均归一化（EMAN），它通过从学生的 BN 统计数据中指数移动平均来更新教师的统计数，减少了 BN 的样本间依赖，提高了教师的泛化能力。这种技术可以在自监督学习和半监督学习的基础上分别提高 4-6/1-2 个点和约 7/2 个点，效果稳定，且适用于各种网络结构和数据集。

    Jan, 2021

  • 指数权重平均作为阻尼谐振

    该论文研究了指数移动平均 (EMA) 在深度学习优化中的应用，提出了一种改进的训练算法 BELAY，通过物理类比分析 EMA 的有效性，并在理论和实证上证明了 BELAY 相对于标准 EMA 的几个优点。

    Oct, 2023

  • 如何扩展您的 EMA

    在存在模型 EMA 的优化中，我们提供了一个缩放规则，并证明其在各种架构、优化器和数据模态下的有效性，同时还展示了模型 EMA 对目标模型优化的贡献，使我们能够在小批量和大批量训练下使用 EMA 基于伪标记和自监督学习的方法，以最佳化 6 倍的壁钟时间降低的条件下训练 BYOL。

    Jul, 2023

  • 教师协作的半监督目标检测

    利用半监督物体检测方法 (SSOD) 的 Collaboration of Teachers Framework (CTF) 可以提高未标记数据的利用率，避免伪标签的循环数据流确认偏差，并且可以与其他主流 SSOD 方法集成。

    May, 2024

  • 导师越严格，表现越优秀：加权一致性目标提升半监督深度学习结果

    Mean Teacher 是一种半监督学习方法，通过平均模型权重来稳定预测结果，在一些数据集上表现优于 Temporal Ensembling，并能够显著减少所需的标签量。

    Mar, 2017

  • 伪标签优于人工标注

    本文介绍了使用自监督学习和半监督学习技术训练强力教师模型来产生高质量伪标签的方法，进而用这些标签来训练语音识别模型，取得了较好的结果。

    Mar, 2022

  • Dual Student: 半监督学习中打破教师限制

    本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

    Sep, 2019

  • GAN 训练中平均化的非凡有效性

    本文研究了在 GAN 训练中参数平均的两种不同技术：移动平均和指数移动平均。作者提供了 EMA 技术的第一篇理论支持，并通过对许多数据集的实证实验验证了 EMA 和 MA 技术的显著有效性。

    Jun, 2018

  • DemaFormer：具有能量建模的阻尼指数移动平均变压器用于时序语言基础生成

    时序语言定位是为了找出语义上与自然语言查询相对应的视频片段。该研究提出了一种基于能量的模型框架和 DemaFormer，一种新颖的基于 Transformer 的架构，用于有效地学习时序语言定位。实验证明我们的方法在四个公开的时序语言定位数据集上优于最先进的基线方法。

    Dec, 2023