Nov, 2022

无监督基于不确定性的语音伪标签过滤和模型校准

PDF
TL;DR本文介绍了一种基于 Dropout 的不确定性驱动自训练（DUST）方法，该方法使用教师模型对未标记目标域数据提供伪标签。我们提出了一种基于模型预测的不确定性的简单，有效和理论上可靠的 PL 过滤策略，并指出 PL 过滤可能会在严重的源域和目标域不匹配的情况下失败。此外，我们还将神经网络模型校准的研究成果带到了 DUST 中，并发现模型校准与 DUST PL 过滤步骤的积极结果强相关。
pseudo-label filteringunsupervised domain adaptationself-traininguncertainty-drivenneural network model calibration
发现论文，激发创造
  • 基于不确定性感知的无源无监督域适应伪标签过滤

    无源无监督域自适应的不确定性伪标签过滤适应（UPA）方法，通过自适应伪标签选择（APS）模块进行精确过滤，同时引入类感知对比学习（CACL）以降低伪标签噪声的记忆化，实现与最先进的方法相当的竞争性能。

    Mar, 2024

  • 滤波和进化：半监督自动语音识别的渐进式伪标签精炼

    本文研究使用伪标签微调自监督预训练模型的方法，提出通过平均概率分数过滤低质量的伪标签，挑选高可信性训练数据，迭代更新模型纠正不可靠的伪标签并去除噪声标签的策略，以提高语音识别性能。实验结果表明，该方法在 LibriSpeech 上具有良好表现。

    Oct, 2022

  • uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏

    该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。

    Jul, 2024

  • 自适应半监督学习中的伪标签过滤

    本文提出了一种自适应伪标签过滤器（SPF），根据模型发展过程中的置信度分布自动过滤伪标签，与深度神经网络一起演化，无需手动调整，通过将 SPF 应用于现有的半监督学习方法，特别是在标记数据极少的情况下，证明可以提高半监督学习的性能。

    Sep, 2023

  • 基于概率教师的领域自适应目标检测学习

    本文提出了一种名为 Probabilistic Teacher（PT）的简单但有效的框架，通过从逐渐演变的 “老师” 中捕捉未标记目标数据的不确定性来引导学生的学习，从而优化了无监督域适应目标检测任务的性能并提出了 Entropy Focal Loss（EFL）以进一步加强不确定性引导的自训练方法，结果表明 PT 在多个基准测试中均超过以往工作的表现并取得了最新的最佳结果。

    Jun, 2022

  • 联合语音转录和翻译：使用 Out-of-Distribution 数据进行伪标签

    本文研究使用自训练和伪标签技术，通过数据增强和过滤等手段，在语音识别中克服领域不匹配问题，从而提高了 0.6% 的音字误率和 2.2 个 BLEU 值百分点。

    Dec, 2022

  • 少即是多：持续测试时间适应的伪标签过滤

    在测试阶段无需访问源数据，连续测试时适应 (CTTA) 旨在将预训练模型调整到一系列目标领域。为了适应未知领域的无标签数据，现有方法依赖于为所有样本构建伪标签并通过自我训练来更新模型。然而，这些伪标签往往包含噪声，导致适应不足。为了提高伪标签的质量，我们提出了一种 CTTA 的伪标签选择方法，称为 Pseudo Labeling Filter (PLF)。PLF 的关键思想是为伪标签持续选择适当的阈值，并识别可靠的伪标签用于自我训练。具体而言，我们提出了连续领域学习中设置阈值的三个原则，包括初始化、增长和多样性。基于这些原则，我们设计出了自适应阈值方法来过滤伪标签。此外，我们引入了一种类先验对齐方法来鼓励模型对未知领域样本进行多样化预测。通过大量实验证明，PLF 优于当前最先进的方法，证明了其在 CTTA 中的有效性。

    Jun, 2024

  • 利用自我监督提升跨域语音识别能力

    本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

    Jun, 2022

  • 半监督语言理解中基于不确定性的参数高效自训练

    UPET 是一个新颖的、针对标记数据稀缺问题的不确定性感知的参数高效自训练框架，通过在蒙特卡洛（MC）dropout 和贝叶斯神经网络（BNN）中进行不确定性估计，并基于置信度和确定性选择可靠的伪标记样本，在学生训练中引入多个参数高效学习（PEL）范式来仅优化一小部分参数，以及提出了一种新颖的 Easy-Hard 对比调优方法来增强鲁棒性和泛化性能。大量的实验证明 UPET 在性能和效率方面取得了显著改进。

    Oct, 2023

  • 基于自训练的领域自适应的双阶段伪标签密集化

    本研究提出了一种 Two-phase Pseudo Label Densification （TPLD）框架来解决自我训练中的次优模型问题，该框架在处理有序标签方面取得了显着改善，并与现有的 CRST 自我训练框架相结合，在标准的 UDA 基准测试上实现了最新的技术成果。

    Dec, 2020