Dec, 2017

构建英语会话语音识别的具有竞争力的直接声学到单词模型

PDF
TL;DR介绍了一个配方来训练一个 A2W 模型，以缩小与常规模型的差距，并呈现了一个联合单词 - 字符 A2W 模型，以提供富有意义的输出。
acoustics-to-word modelsautomatic speech recognitiontraining datamodel performancejoint word-character model
发现论文，激发创造
  • 基于声音定位的词嵌入用于提高声学到词语语音识别

    通过将最终的 AWE 识别器的 pre-softmax 权重矩阵视为词嵌入向量矩阵，并利用外部训练的词嵌入向量来改善其质量，我们提出了两种思路：（1）在训练中在外部嵌入向量与识别器权重之间强制相似性，（2）在测试时使用词嵌入向量预测生僻词以提高直接声学到单词的性能。

    Mar, 2019

  • 神经声学到词模型的模块化训练对于大词汇连续语音识别的应用

    此研究提出了一种新颖的模块化培训框架，用于分别训练神经声学和语言模型，并在解码阶段仍执行端到端推理。

    Mar, 2018

  • 具有对话上下文信息的声学到词语模型

    直接从声音到单词，利用交际上下文信息的端到端语音识别模型，在 Switchboard 语料库上验证表现优于现有模型。

    May, 2019

  • 语音识别中的学习：上下文音频词嵌入

    本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

    Feb, 2019

  • 推进声学到单词 CTC 模型

    本论文研究了基于 CTC 准则的声音到单词模型的问题，并提出采用混合 CTC 模型和混合单元 CTC 模型的解决方案，最终实现了在没有使用语言模型或复杂解码器的情况下取得比传统 CD-CTC 模型更好的结果。

    Mar, 2018

  • 基于单头注意力的序列到序列模型，在 Switchboard 上实现最先进的结果

    本文表明，使用单个头注意力，基于 LSTM 的直接 seq2seq 语音识别模型可以在只有少量数据时（即使只有 300 小时数据），在 Switchboard-300 数据库上实现最先进的识别性能，并且数据增强和谨慎的正则化对于获得这种水平的性能非常重要，然而，更多的数据仍然是更有用的，并且通过使用各种正则化技术和一个相对简单但足够大的模型的组合可以在 Switchboard 和 CallHome 数据集上取得 4.7％和 7.8％的 WER 结果。

    Jan, 2020

  • Wav2Letter: 一种基于端到端的卷积神经网络语音识别系统

    本论文提出一种简单的端对端语音识别模型，用卷积神经网络基于声学模型和图解码相结合，通过输出字母实现语音转录，无需强制调整音素位置。我们引入了一种自动分割标准以进行序列注释的训练，不需要对齐即可达到与 CTC 相当的效果。我们证明了在使用 MFCC 特征的 Librispeech 数据集上具有竞争力的单词错误率，并在原始波形上得到有希望的结果。

    Sep, 2016

  • 使用从端到端自动语音识别获取的声学 - 文本子词表示进行音频到意图的转换

    提出了一种从音频和文本信息中使用子词标记进行用户意图识别的方法，使用了端对端 ASR 模型提取音频信息与 CBOW 模型分析文本信息构建表示，通过结合位置编码的方式处理多个 ASR 假设同时存在的问题，实现了对于语音助手的用户意图高精准度的辨别和误触识别。

    Oct, 2022

  • 针对语音识别的端到端注意力模型的改进训练

    研究了基于子词单元的序列到序列的注意力机制模型在简单开放式语料库上进行的端到端语音识别中的应用，通过预置一个高时间缩小系数并在训练过程中逐步降低，以及使用辅助 CTC 损失函数等方法，证明了它的有效性和高性能。同时，还对基于子词单元的 LSTM 语言模型进行了训练，在无语言模型情况下，在给定的评估数据子集上相较于注意力基线的 WER 提高了 27%。

    May, 2018

  • 整合形式和含义：一种用于声学词嵌入的多任务学习模型

    本文提出一种结合自顶向下词汇知识的多任务学习模型，通过学习将声学输入与编码高级别信息（例如单词语义）的词汇表示相映射，从而提高了嵌入空间的可区分性，并使模型更好地分离了词汇类别。

    Sep, 2022