Apr, 2023

Spaiche：扩展最先进的 ASR 模型以支持瑞士德语方言

PDF
TL;DR本研究旨在提高 ASR 模型在瑞士德语方言上的表现，通过提供对最新发布的瑞士德语语音数据集上现有现有 ASR 模型性能的深入了解。我们提出了一种考虑预测和真实标签之间语义距离的新型损失函数，通过对 Swiss-German 数据集上 OpenAI 的 Whisper 模型进行微调，取得了优于当前最新研究成果的结果。
发现论文，激发创造
  • Whisper 是否理解瑞士德语？自动化质量评估与人工评价

    Whisper 是一种最先进的自动语音识别（ASR）模型，经过系统评估后，我们的所有评估结果表明，Whisper 是一个适用于瑞士德语的可行 ASR 系统，前提是需要标准德语输出。

    Apr, 2024

  • 使用 Kaldi 进行自动语音识别的奥地利德语会话

    本文研究使用基于知识的发音词典来提高德语对话语音识别的性能。实验结果表明，相对于增加语言模型数据的大小，使用发音词典可以在低资源语料情况下取得高性能。

    Jan, 2023

  • 德语语音识别：详细误差分析

    研究使用神经网络的自动语音识别系统，如何评估其预测的转录与语音输入的误差类别，评估结果指出交叉体系结构的预测错误，并查找错误来源，提出定量改善数据集和提高 ASR 系统鲁棒性的解决方案。

    Apr, 2022

  • 瑞士德语文本转语音流程 -- 一项比较

    研究使用不同的 TTS 模型合成瑞士德语，发现 VITS 模型表现最佳，使用判别器对模型进行评估，在不同的瑞士德语方言中实现了以前无法达到的语音合成质量。

    May, 2023

  • 瑞士德语语音转文本系统评估

    针对四个商业可用的瑞士德语语音转文本系统和 FHNW 模型展开深入评估，并使用瑞士议会语料库和新闻域中的私人数据集来评估这些模型，并提供了有关模型培训的详细信息，评估了这些模型的强​​弱点并对其进行了详细的错误分析。

    Jul, 2022

  • 将 ASR 基础模型用于口语评估的适应

    本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。

    Jul, 2023

  • 语音识别系统对抗攻击中的语言依赖性

    本文研究比较德语与英语语音识别系统的攻击性漏洞，结果表明生成对抗样本所需的计算工作与其语言模型有关，并鼓励在 ASR 的鲁棒性分析中进一步研究与语言相关的特征。

    Feb, 2022

  • 针对数据有限的发音不清和口音不标准的个性化 ASR

    本文提出并评估了微调技术，以提高自动语音识别系统对非标准语音的识别准确性，特别关注两种非标准语音：肌萎缩侧索硬化症患者的言语和带口音的言语，并训练出个性化模型，相对于标准语音，相对词错误率能提高 62％和 35％，仅五分钟的训练就能带来 71％的提升，微调部分层的结果往往比微调整个模型更好，是构建肌无力性言语最先进的自动语音识别模型的第一步。

    Jul, 2019

  • 面向特定领域语音识别的深度学习系统

    使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据，研究结果表明，该系统即使在具有更高的字词错误率的情况下，性能仍优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。

    Mar, 2023

  • 麦霍马乌纳伊卡艾：语言模型在夏威夷语自动语音识别中的改进

    改善低资源语言夏威夷语的自动语音识别（ASR）的挑战，通过将大量独立文本数据整合到 Whisper 基础模型中，我们采用约 1.5M 字的夏威夷文本数据训练了外部语言模型（LM）。然后，我们使用该语言模型对 Whisper 进行评分，并计算标记的夏威夷数据测试集的词错误率（WER）。实验结果显示，在用夏威夷语言模型重新评分 ASR 输出时，WER 有小幅但显著的改善。结果支持在开发代表性语言的 ASR 系统时利用所有可用数据。

    Apr, 2024