Mar, 2023

面向特定领域语音识别的深度学习系统

PDF
TL;DR使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据，研究结果表明，该系统即使在具有更高的字词错误率的情况下，性能仍优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。
automatic speech recognitiondeepspeech2wav2vec2semi-supervised learningspoken language understanding
发现论文，激发创造
  • 使用合成数据的端到端自适应语音识别系统的简单基线

    本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

    Jun, 2022

  • 在超低资源环境下创建口语对话系统

    自动语音识别（ASR）系统是一项关键技术，用于设计各种应用程序，尤其是智能助手，如 Alexa。本文着重于低资源语言 Flemish 的 Intent 分类任务，通过在语音级别和音素转录级别应用不同的数据增强技术，改进了现有模型的性能。

    Dec, 2023

  • 深度迁移学习用于自动语音识别：迈向更好的泛化能力

    本论文通过应用深度迁移学习的自动语音识别框架对最新的发展进行综合调查研究，以帮助学术和专业人士了解当前挑战，并识别论文中每个框架的优缺点。

    Apr, 2023

  • 针对数据有限的发音不清和口音不标准的个性化 ASR

    本文提出并评估了微调技术，以提高自动语音识别系统对非标准语音的识别准确性，特别关注两种非标准语音：肌萎缩侧索硬化症患者的言语和带口音的言语，并训练出个性化模型，相对于标准语音，相对词错误率能提高 62％和 35％，仅五分钟的训练就能带来 71％的提升，微调部分层的结果往往比微调整个模型更好，是构建肌无力性言语最先进的自动语音识别模型的第一步。

    Jul, 2019

  • SpeechNet：工业级弱监督端到端语音识别

    本文提出了一种在标注稀缺，计算有限的情境下训练和部署自动语音识别系统的方法，使用第三方 ASR 系统和用户反馈标记函数作为弱监督来源，采用不同输入长度的 CUDA 图形池来加速推理，称为 SpeechNet 系统，在智能电视上实现了 Wav2vec 技术的大规模部署，获得了 8% 的词错误率相对改进和 600% 的加速。

    Nov, 2022

  • 多领域训练提高口音语音识别

    本文致力于提高自动语音识别系统的准确性与泛化能力，运用多种口音以构建微调数据集用以提高模型的鲁棒性，同时展示多领域数据集优化效果。

    Mar, 2023

  • 跨语言自监督语音表征，提高口吃症患者的语音识别能力

    使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

    Apr, 2022

  • 利用大型语言模型进行零样本 ASR 领域自适应的语料合成

    提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

    Sep, 2023

  • 多域多设备 ASR 系统的统一建模

    本文提出一种创新的方法，将不同领域和不同设备的模型整合成一个统一的模型，使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性，并通过仔细的消融研究表明每个创新的好处，实验证明我们提出的统一建模方法实际上优于精心调整的专业领域模型。

    May, 2022

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023