ICLROct, 2022

从一开始进行持续的伪标签化

PDF
TL;DR本文提出了动态控制自训练过程中伪标签（PL）进化的方法，该方法避免了在低资源设置下过拟合到有标记的数据集。通过在线更改 PL 来控制 PL 缓存的会员资格和改善泛化能力。在预测分布中采样可进一步稳定训练，这两种技术使我们的自训练模型与之前的工作不相上下。
self-trainingpseudo-labelingspeech recognitionsemi-supervised learninglow-resource settings
发现论文，激发创造
  • 利用端到端自主训练的半监督自动语音识别

    本文提出了一种基于端到端系统的自学习半监督自动语音识别方法，通过对无监督数据的伪标记迭代地增强有标记的数据，从而提高系统性能，实现数据增强效果，获得了 14.4% 的相对识别错误率改进。

    Jan, 2020

  • 伪标签优于人工标注

    本文介绍了使用自监督学习和半监督学习技术训练强力教师模型来产生高质量伪标签的方法，进而用这些标签来训练语音识别模型，取得了较好的结果。

    Mar, 2022

  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 跨语言伪标记的无监督自动语音识别

    研究表明，在没有成对的语音和文本的情况下，可以使用其他语言的字符级声学模型引导新语言的无监督自动语音识别系统，方法基于两个主要组成部分：使用其他语言 AM 生成目标语言的伪标签并用目标语言模型加以约束。

    May, 2023

  • 使用 Conformer 和初始化策略推进 Momentum Pseudo-Labeling

    本研究通过引入 Conformer 结构和迭代伪标签与语言模型相结合，提高了 MPL 性能，对各种半监督设置表现出鲁棒性， 并且在质量和效果方面优于其他基于伪标签的方法。

    Oct, 2021

  • 基于预训练语音模型的低资源语音识别改进：继续预训练与半监督训练

    本文通过在多种低资源语言的未标注同语言音频数据上使用 XLSR-53 预训练模型进行持续预训练来改进自动语音识别的性能，结果表明持续预训练在单词错误率方面与半监督训练的效果相当且更加高效。

    Jul, 2022

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021

  • 联合语音转录和翻译：使用 Out-of-Distribution 数据进行伪标签

    本文研究使用自训练和伪标签技术，通过数据增强和过滤等手段，在语音识别中克服领域不匹配问题，从而提高了 0.6% 的音字误率和 2.2 个 BLEU 值百分点。

    Dec, 2022

  • SlimIPL：无需语言模型的迭代伪标记

    提出了一种无需语言模型的增强迭代伪标记算法（Language-Model-Free IPL，slimIPL），该算法适用于低资源设置和以 CTC 为基础的模型，其中包括一个动态缓存来降低与超参数相关的假标签的敏感性。通过只需要 10 小时的标记音频，这种算法在自我监督方法中具有竞争力，并且在无需语言模型的情况下成为有标记音频的最新技术。

    Oct, 2020

  • 自监督语音和语言模型预训练的半监督口语理解

    本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

    Oct, 2020