Oct, 2023

儿童阅读的端到端实时跟踪与指针网络

PDF
TL;DR本研究介绍了一种使用实时阅读跟踪器在儿童语音上进行高效构建的方法，通过采用端到端模型和指针网络的结构，不仅减少了语音跟踪中的延迟问题，还使用强制对齐生成了地面真实文本与读音之间的训练信号，实验结果表明这种方法能够在不同数据集上以高精确度跟踪成人和儿童的语音。
real time reading trackerend-to-end modelpointer networkforced alignmentspeech datasets
发现论文，激发创造
  • 儿童语音合成的文本到语音处理流程、评估方法和初步微调结果

    本研究通过开发和验证训练管道，使用儿童语音数据集对最先进的神经 TTS 模型进行微调并进行了多方面的评估。结果表明训练后的 TTS 模型能够从只有 5 秒的参考音频样本中合成类似儿童的语音。

    Mar, 2022

  • 通过自动语音识别在小学中进行阅读疏忽检测

    本研究探讨了现有的最先进预训练自动语音识别（ASR）模型在识别荷兰语为母语的儿童语音和检测阅读错误方面的效果，发现 Hubert Large 在荷兰语儿童语音识别方面达到最佳表现（23.1% 的音位级错误率），而 Whisper（Faster Whisper Large-v2）则在词级表现最佳（9.8% 的词错误率）。此外，Wav2Vec2 Large 和 Whisper 是用于阅读错误检测的两个最佳 ASR 模型，其中 Wav2Vec2 Large 的召回率最高（0.83），而 Whisper 的精确度和 F1 得分均为 0.52。

    Jun, 2024

  • 基于 Attention 循环神经网络的端到端连续语音识别：首次结果

    本文提出了基于双向循环神经网络编码器和递归神经网络解码器的语音识别方法，使用关注机制对输入与输出序列对齐以较高准确性地识别音素，且在 TIMIT 数据集上与传统的 HMM 方法相当。

    Dec, 2014

  • 基于 Fastpitch 的转移学习改进儿童文本转语音合成

    本研究通过采用迁移学习和 Fastpitch 文本到语音模型，提出了一种生成高质量合成儿童语音的新方法，并通过使用此方法生成的样本进行客观评估和唤醒词错误率验证，展示了真实和合成儿童声音之间的显著相关性。

    Nov, 2023

  • 一种用于端到端语音识别的拼写校正模型

    该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

    Feb, 2019

  • 使用 Scout 网络的低延迟端对端流式语音识别

    本文提出了一种基于 Transformer 模型的低延迟流式语音识别方法，其中包含了一个侦察网络和一个识别网络，该方法在 Librispeech 的测试数据集上实现了最佳性能 (2.7/6.4 WER) 和短暂的 639ms 延迟。

    Mar, 2020

  • 增强式儿童语音识别技术的改进

    儿童语音识别的表现有待提高，本研究通过对现有数据集中的儿童语音和额外的儿童说话人进行单语和跨语言转换来研究儿童间的语音转换，结果表明跨语言儿童间语音转换能显著提高儿童语音识别性能。对儿童间跨语言语音转换产生的数据量对微调自注意力模型和 Whisper 模型的影响实验结果显示，对微调自注意力模型使用两倍数据和对从头训练的模型使用六倍数据取得了最佳效果，相较于基准线而言，两者分别使词错误率 (WER) 绝对减少了约 3% 和提高了 3.6%。此外，使用少量 “高质量” 语音转换生成的数据也能取得类似最佳微调模型的效果。

    Jun, 2024

  • 多任务指针网络用于多表现解析

    提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何输入句子，支持连续 / 投影和不连续 / 非投影的句法结构，并证明了这两种句法形式可以在训练过程中互相受益，提高了在多个基准测试中的准确性，如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。

    Sep, 2020

  • 基于 ASR 的阅读启蒙导师：如何优化对一年级学生的反馈

    本研究通过 ASR 系统分析儿童的语音来开发新的系统，与之前的研究进行比较，结果表明新开发的 ASR 系统在正确拒绝方面表现出更好的结果；该结果表明，难以对孤立的单词进行分类。

    Jun, 2023

  • 针对长篇叙述的简单有效的课程指针生成网络用于阅读理解

    本研究提出基于课程学习和指针 - 生成框架的阅读理解解决方案，通过分解对齐关系和使用块级自注意力进行推理的方式构建多样化的训练样本，大幅提高了基准测试的表现水平。

    May, 2019