ACLJun, 2023

关于日语语音识别的宽松评估：建模自然发生的拼写不一致性

PDF
TL;DR本研究提出了一种新的宽松的评价模型作为日语自动语音识别的更具潜力的 CER 测量，通过利用词汇量，文本处理计算机系统以及神经机器翻译模型对参考转录文本进行了合理重写。
word error ratecharacter error ratespeech recognitionjapaneseevaluation metric
发现论文，激发创造
  • 词错误率是否适用于评估印度语言语音识别的表现？

    提出了适用于半字符语言的新的语音识别误差率计算方法，通过实现在印地语中表明其在包含大字符集的语言中可扩展性，并开源了包含新度量脚本的印地语基准数据集，为提高语音识别系统表现提供了新的可能性。

    Mar, 2022

  • 无监督的跨语言语音识别误率标准化

    提出了一种基于拼写和分词的自动化 WER 规范系统，通过在四种语言上的实验，平均 WER 降低了 13.28％。同时，基于该系统的标注数据的人工实验结果表明，该文中所提出的 WER 规范方法与 ASR 输出的感知质量高度一致。

    Mar, 2023

  • 使用 BERTScore 评估 ASR 模型在失语言上的质量

    该研究调查了使用 BERTScore 作为语音识别模型质量评估的度量标准。BERTScore 与 WER 相比，在计算错误类型和评估方面更符合人工评定的标准。因此，BERTScore 可以在实际应用中辅助 WER，特别是在无障碍应用中，即使模型的精度比典型语音的精度低，模型仍然是有用的。

    Sep, 2022

  • SpellMapper：基于 n-gram 映射的 ASR 自定义非自回归神经拼写检查器

    使用新颖的基于拼写错误 n-gram 映射的候选检索算法和 BERT 架构的非自回归神经模型，相较于基线 ASR 系统，在口语化维基百科上的实验显示，字错误率提高了 21.4％。

    Jun, 2023

  • 探究自动语音识别系统对 L2 英语语音变异的敏感性

    使用一种探测方法，发现了 ASR 系统处理在 L2 英语方言中的发音差异时，出现了声素级别的错误并产生了更高的 WER。这项工作系统地说明了 ASR 的行为，通过确定特定问题的物质来源来提高 ASR 的准确性。

    May, 2023

  • 我们是谁，以及我们认为自己是谁 - 评估自我知觉的准确性

    本文质疑了现代自动语音识别系统在基准数据集上达到极低词错误率的报告，同时比较了三种最先进的商用自动语音识别系统在现实生活中的人类对话和公共基准测试中的表现，并得出结论：WERs 显著高于最佳报告结果。我们制定了一组准则，可帮助创建高质量注释的现实生活中多领域数据集，以训练和测试强大的 ASR 系统。

    Oct, 2020

  • 自动语音识别系统无关词错误率评估

    提出了一种用于 ASR 系统独立的 WER 估计的假设生成方法，通过使用语音相似或语言上更可能的替代词产生假设，并在域内数据上达到了与 ASR 系统相关的 WER 估计器相似的性能，在域外数据上实现了最先进的性能。

    Apr, 2024

  • 德语语音识别：详细误差分析

    研究使用神经网络的自动语音识别系统，如何评估其预测的转录与语音输入的误差类别，评估结果指出交叉体系结构的预测错误，并查找错误来源，提出定量改善数据集和提高 ASR 系统鲁棒性的解决方案。

    Apr, 2022

  • 在 Switchboard 基准测试上朝向零 Oracle 词错误率

    该研究探讨了在自动语音识别（ASR）研究中备受关注的‘Switchboard benchmark’数据集的一些实用考虑，并提出了修正参考转录和改变评分方法的更详细和可重复的方案。通过这种方案，甚至商业 ASR 系统的 WER 得分也可以低于 5％，研究系统的表现记录下降至 2.3％。此外，还探索了使用标准化评分工具计算 oracle WER 的方法，并比较了短语备选项表示和 utterance/word-level 的结构。最终，使用密集网络和添加字典外单词的方法实现了 0.18％的 oracle WER。

    Jun, 2022

  • 用合成语音训练识别器评估语音合成

    论文提出了一种基于训练合成语音自动识别模型并评估其在真实语音上表现的评估技术，该指标与意见分数自然性和可懂性均呈现出强相关性。

    Oct, 2023