Mar, 2022

听取、适应、提高 WER：源自由单语音时自适应用于自动语音识别

PDF
TL;DR该研究提出了单次话语测试时间自适应（Single-Utterance Test-time Adaptation，SUTA）框架，首次将测试时间自适应（TTA）应用于语音识别，通过无监督目标和高效的适应策略，有效提高源 ASR 模型在多个域外目标语料库和域内测试样本上的性能。
automatic speech recognitiondeep learningtest-time adaptationunsupervised objectivessource data
发现论文，激发创造
  • AR-TTA：一种用于现实世界中连续测试时适应的简单方法

    提出了一种名为 AR-TTA 的方法，该方法在自主驾驶领域中进行了测试时间适应，以处理不同程度的领域转变，并在维护源模型知识和适应动态变化的数据流方面表现优越。

    Sep, 2023

  • 提升开放世界转换中声学基础模型的测试时适应能力

    本论文研究了面对开放世界数据变化的预训练声学模型的测试时间适应方法，通过引入无启发式、基于学习的自适应方法并结合置信度提升以及在测试时间优化中应用一致性规范化，证明了该方法在合成和真实数据集上的优越性。

    Oct, 2023

  • 视觉文档理解的测试时间适应性

    文章介绍了一种新的文档测试时间自适应方法，利用跨模态自监督学习和伪标记来使源域的模型适应测试时未标记的目标域，并在各种视觉文档理解任务中提升效果。

    Jun, 2022

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • SITA: 单图测试时适应

    该论文主要研究了用于单镜头图像推理的快速测试时间自适应方法（SITA）。 提出了一种名为 AugBN 的方法，它只需要一次前向传递来估计未见过的测试分布的规范化统计，该方法无需反向传播并且是无超参数的。 在实验中，该算法在各种数据集、任务和网络架构上都取得了显著的性能提升。

    Dec, 2021

  • 单幅图像测试时自适应分割

    优化自监督损失进行测试时间段的自适应图像分割模型，采用多种基线方法及改进，并引入对抗训练来提高性能。

    Sep, 2023

  • 使用合成数据的端到端自适应语音识别系统的简单基线

    本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

    Jun, 2022

  • 自学习识别器：面向语音基础模型的无监督适应

    我们提出了一个无监督适应框架，Self-TAught Recognizer (STAR)，它利用无标签数据增强自动语音识别（ASR）系统在噪声和口音等多样的目标领域中的稳健性。STAR 基于基于 Transformer 相关架构和自回归解码的流行语音基础模型（例如 Whisper，Canary）进行开发。

    May, 2024

  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 主动测试时间适应：理论分析与算法

    使用主动学习在完全的测试时间适应设置中，通过限制标记测试实例的数量，提高测试领域之间的整体性能，同时避免灾难性遗忘，从而在测试时间适应（TTA）下解决领域偏移的问题。

    Apr, 2024