Sep, 2023

儿童与成人自动语音识别性能差距之桥梁

PDF
TL;DR近期在自动语音识别系统（ASR）方面的最新进展，如 Whisper，已经显示出这些系统在充足的数据支持下能够接近人类水平的性能。然而，由于适合儿童的特定数据库的有限性以及儿童语音的独特特征，这一进展并不容易延伸到儿童 ASR 领域。最近的一项研究调查了利用 My Science Tutor (MyST) 儿童语音语料库提高 Whisper 在儿童语音识别方面的性能。本文在此基础上通过更高效的数据预处理提升了 MyST 数据集的实用性，同时还强调了改善儿童 ASR 性能的重要挑战。结果展示了将 Whisper 有效集成到改善儿童语音识别领域的可行性和高效性。
automatic speech recognitionwhisperchildren's speechmy science tutorasr performance
发现论文，激发创造
  • 适应童声识别的 Whisper 模型

    我们的研究旨在探索能否将已存在的多语种 ASR 模型，如 Whisper，适应于儿童语音以提高儿童 ASR 性能，并将 Whisper 适应于儿童语音的结果与基于自监督模型 wav2vec2 进行微调的结果进行比较，结果显示在儿童语音上对 Whisper 进行微调显著提高了 ASR 性能，而利用对儿童语音进行微调的 wav2vec2 模型甚至超过了 Whisper 的效果。

    Jul, 2023

  • 儿童在人机交互中的语音识别：问题解决了吗？

    自动语音识别在成人英语语音方面显示出超人的表现，但在儿童语音方面表现不佳。最新的数据驱动语音识别技术包括 Transformer 架构和前所未有的训练数据量，可能会为儿童语音识别和面向儿童的社交机器人应用带来突破。我们重新审视了 2017 年的一项关于儿童语音识别的研究，并表明性能确实有所提高，新晋的 OpenAI Whisper 相比领先的商业云服务表现明显更好。尽管转录还不完美，但最佳模型可以正确识别 60.3% 的句子，除了一些小的语法差异，使用本地 GPU 运行的亚秒级转录时间显示出可用于自主儿童 - 机器人语音交互的潜力。

    Apr, 2024

  • 面向语言学习应用的非母语儿童语音自动识别

    研究评估了两个最先进的自动语音识别系统 Wav2Vec2.0 和 Whisper AI 的性能，以开发一个可以支持儿童学习外语的语音机器人，并探究使用 ASR 技术提供对孩子的发音和流利度的洞察力的效用

    Jun, 2023

  • 关键词引导的自动语音识别适应

    通过上下文偏差对 Whisper 模型进行改进，提出了一种优化行话词识别的新方法。采用关键词检测模型，利用 Whisper 编码器表示动态生成的提示来引导解码器。引入了 KG-Whisper 和 KG-Whisper-PT 两种方法来有效引导解码器，并在特定关键词的识别准确率和整体词错误率上取得了显著的改进。在未见过的语言泛化中，与 Whisper 相比，平均词错误率提高了 5.1%。

    Jun, 2024

  • 年轻英语学习者语音的错误保留自动语音识别

    在这项工作中，我们构建了一个满足条件的自动语音识别系统，用于年轻语言学习者的自由说话并保留他们的错误。

    Jun, 2024

  • 谁说了什么？幼儿园课堂言语分析的自动化方法

    幼儿在嘈杂的幼儿园教室中度过相当一部分清醒时间。本研究提出了一种使用开源软件的自动框架，通过儿童和教师佩戴的录音设备来分类说话者并进行转录，结果显示进行自动化的识别和转录教师和儿童言语的准确性较高，并对课堂言语进行分析可能有助于儿童语言发展。未来计划使用自然语言处理改进说话者分类，并分析应用自动化框架到大型数据集中的结果。

    Jan, 2024

  • PI-Whisper：面向多样化和不断演化的说话人特征的自适应增量式语音识别框架

    通过边缘自动语音识别 （ASR）技术，本研究提出了 PI-Whisper 框架，以增强 ASR 的适应性、实现增量式处理和促进多元化使用者群体的公平性和公正性，并在状态 - of-the-art 的准确性下降为主的情况下，提高 13.7％的识别准确率。

    Jun, 2024

  • 通过自动语音识别在小学中进行阅读疏忽检测

    本研究探讨了现有的最先进预训练自动语音识别（ASR）模型在识别荷兰语为母语的儿童语音和检测阅读错误方面的效果，发现 Hubert Large 在荷兰语儿童语音识别方面达到最佳表现（23.1% 的音位级错误率），而 Whisper（Faster Whisper Large-v2）则在词级表现最佳（9.8% 的词错误率）。此外，Wav2Vec2 Large 和 Whisper 是用于阅读错误检测的两个最佳 ASR 模型，其中 Wav2Vec2 Large 的召回率最高（0.83），而 Whisper 的精确度和 F1 得分均为 0.52。

    Jun, 2024

  • 基于 ASR 的阅读启蒙导师：如何优化对一年级学生的反馈

    本研究通过 ASR 系统分析儿童的语音来开发新的系统，与之前的研究进行比较，结果表明新开发的 ASR 系统在正确拒绝方面表现出更好的结果；该结果表明，难以对孤立的单词进行分类。

    Jun, 2023

  • 将 ASR 基础模型用于口语评估的适应

    本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。

    Jul, 2023