Oct, 2021

使用 Conformer 和初始化策略推进 Momentum Pseudo-Labeling

PDF
TL;DR本研究通过引入 Conformer 结构和迭代伪标签与语言模型相结合，提高了 MPL 性能，对各种半监督设置表现出鲁棒性， 并且在质量和效果方面优于其他基于伪标签的方法。
pseudo-labelingsemi-supervised learningautomatic speech recognitionmomentum pseudo-labelingconformer architecture
发现论文，激发创造
  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 一种使用正则化的置信度预测的不确定性感知伪标签选择框架

    该研究提出了一种基于不确定性感知的伪标签选择框架，利用符合规范化算法产生的不确定性集合，修复了拟合不当的神经网络，从而减少嘈杂的训练数据。

    Aug, 2023

  • InterMPL: 中间层 CTC 损失的动量伪标签

    本文提出了一种利用中间监督的伪标签方法 ——InterMPL，可以应用于半监督学习的自动语音识别系统中，通过引入辅助损失优化伪标签，具有在不需要标签的情况下提高 ASR 性能的能力。实验结果证实，该方法比 MPL 等方法更有效，可使 ASR 模型提高至 12.1% 的绝对性能增益。

    Nov, 2022

  • 图数据中嘈杂伪标签的深入洞察

    给出伪标记策略对图学习模型的影响的深入见解，通过错误分析证明伪标记错误受伪标记阈值的置信度和多视图预测的一致性的限制，并在收敛性属性上理论上说明的基础上，提出了一种谨慎的伪标签方法，通过对置信度最高且多视图一致的样本进行伪标签，从而改进了图学习过程，在链接预测和节点分类任务上优于其他伪标记策略。

    Oct, 2023

  • 关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

    本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

    Jan, 2021

  • 一种通道集合方法：无偏差和低方差的伪标签对半监督分类至关重要

    我们提出了一种轻量级通道级集成方法，用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签，该方法可轻松扩展到任何半监督学习框架，并在 CIFAR10/100 上显著优于现有技术，无论是在效果上还是效率上。

    Mar, 2024

  • 从一开始进行持续的伪标签化

    本文提出了动态控制自训练过程中伪标签（PL）进化的方法，该方法避免了在低资源设置下过拟合到有标记的数据集。通过在线更改 PL 来控制 PL 缓存的会员资格和改善泛化能力。在预测分布中采样可进一步稳定训练，这两种技术使我们的自训练模型与之前的工作不相上下。

    Oct, 2022

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021

  • 基于 Wav2vec2 动量伪标记的发音不准检测方法改进，用于口音和可懂度评估

    本文介绍了使用 Wav2vec 2.0 模型进行自监督学习，在当前领先的发音错误检测和诊断 (MDD) 系统中使用自动伪标签方法，可以用于增强 L2 语音，提高模型的鲁棒性和准确性。

    Mar, 2022

  • 伪标记的自动课程学习用于半监督关键点定位

    该研究采用一系列动态阈值来自动选择可靠的伪标签样本，形成一个学习课程，从而显著优于先前最先进的 SSL 方法，在六个 keypoint 本地化基准数据集上进行了广泛的实验。

    Jan, 2022