Nov, 2022

InterMPL: 中间层 CTC 损失的动量伪标签

PDF
TL;DR本文提出了一种利用中间监督的伪标签方法 ——InterMPL，可以应用于半监督学习的自动语音识别系统中，通过引入辅助损失优化伪标签，具有在不需要标签的情况下提高 ASR 性能的能力。实验结果证实，该方法比 MPL 等方法更有效，可使 ASR 模型提高至 12.1% 的绝对性能增益。
发现论文，激发创造
  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 使用 Conformer 和初始化策略推进 Momentum Pseudo-Labeling

    本研究通过引入 Conformer 结构和迭代伪标签与语言模型相结合，提高了 MPL 性能，对各种半监督设置表现出鲁棒性， 并且在质量和效果方面优于其他基于伪标签的方法。

    Oct, 2021

  • SlimIPL：无需语言模型的迭代伪标记

    提出了一种无需语言模型的增强迭代伪标记算法（Language-Model-Free IPL，slimIPL），该算法适用于低资源设置和以 CTC 为基础的模型，其中包括一个动态缓存来降低与超参数相关的假标签的敏感性。通过只需要 10 小时的标记音频，这种算法在自我监督方法中具有竞争力，并且在无需语言模型的情况下成为有标记音频的最新技术。

    Oct, 2020

  • CTC 基础语音识别中的中间损失正则化

    本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

    Feb, 2021

  • 利用端到端自主训练的半监督自动语音识别

    本文提出了一种基于端到端系统的自学习半监督自动语音识别方法，通过对无监督数据的伪标记迭代地增强有标记的数据，从而提高系统性能，实现数据增强效果，获得了 14.4% 的相对识别错误率改进。

    Jan, 2020

  • 半监督自动语音识别的替代伪标注方法

    通过使用伪标签技术的半监督学习，结合泛化的 CTC 损失函数、对抗性 CTC 损失函数和自动阈值方法，本研究提出了一种名为 “替代伪标签” 的新框架，以应对噪声伪标签带来的问题。

    Aug, 2023

  • 基于条件独立假设的 CTC 语音识别方法的中间预测结果条件化松弛

    本文提出了一种方法来放宽 CTC-based 自动语音识别 (ASR) 模型的条件独立性假设，通过在中间层中添加辅助的 CTC loss，使预测更准确，减少了相对词错误率超过 20%。

    Apr, 2021

  • 通过粗标签实现端到端语音翻译的高效 CTC 正则化

    本文研究了在端到端语音翻译中采用 CoLaCTC 来替代传统 CTC 所需的真实的词汇标签，以达到减少模型参数，提高计算效率的目的，并通过实验证明，CoLaCTC 在具有可比甚至更好的性能的情况下，能够缩小标签空间达 256，并进一步提高 1.18x 至 1.77x 的训练效率。

    Feb, 2023

  • 联合掩码 CPC 和 CTC 训练用于自动语音识别

    这篇论文介绍了一种利用自监督学习方法，通过单阶段训练自动语音识别模型，利用标记数据和非标记数据来训练模型，实现了对下游任务性能的直接优化，并在 Librispeech 100-hour 数据集上实现了类似于 wav2vec ~2.0 的词错误率，最后提出解决对比任务是计算 CTC 损失的正则化的假设。

    Oct, 2020

  • 多任务伪标签学习用于非侵入式语音质量评估模型

    该研究介绍了多任务伪标签（MPL）学习在非侵入性语音质量评估模型中的应用，通过两个阶段获得伪标签分数和进行多任务学习，实验证明了 MPL 相较于从零开始训练模型和使用知识传递机制的优势，并验证了 Huber 损失函数在提高 MTQ-Net 预测模型的能力方面的益处，最终 MTQ-Net 采用 MPL 方法展示了较其他基于 SSL 的语音评估模型更高的整体预测能力。

    Aug, 2023