ACLJun, 2019

对话上下文融合的端到端语音识别中的门控嵌入

PDF
TL;DR本文提出一种新颖的基于门控神经网络的语音识别模型，采用对话上下文 / 词 / 语音嵌入，结合外部词和 / 或句子嵌入来提高对话上下文表示，从而显著提高单词错误率，对 Switchboard 对话语音语料库的实验表明我们的模型优于标准的端到端语音识别模型。
end-to-end speech recognizergated neural networkconversational-context awarenessword error rateexternal word embeddings
发现论文，激发创造
  • 上下文感知的端到端语音识别

    本研究提出了一种对话上下文感知的语音识别模型，该模型可以在端到端的方式下明确地使用除句子级别信息以外的上下文信息，以使整个系统能够被训练得更好并表现得更优秀。我们在 Switchboard 交谈语音语料库上评估了我们的方法并显示出优于可比较的句子级端到端语音识别系统的效果。

    Aug, 2018

  • 语音识别中的学习：上下文音频词嵌入

    本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

    Feb, 2019

  • 具有对话上下文信息的声学到词语模型

    直接从声音到单词，利用交际上下文信息的端到端语音识别模型，在 Switchboard 语料库上验证表现优于现有模型。

    May, 2019

  • 基于跨模态师生学习的预训练语义语音嵌入用于端到端口语理解

    本文提出了一种新的训练方法，将预先训练的语境嵌入用于处理声学特征，并扩展了预先训练的语音识别系统的编码器，以构建端到端的口语理解系统，实验结果表明，该系统在三个基准测试中达到与流水线结构相当的性能，在没有使用任何训练数据的情况下，在两个基准测试中经过微调每类 10 个示例后优于流水线结构。

    Jul, 2020

  • 门控卷积网络的语言建模

    本研究提出一种基于卷积神经网络的有限环境文本处理方法，采用新型简化门控机制，具有并行优势和长期学习效应，相比循环神经网络可获得更高的性能和更短的处理时间。在大规模文本任务中取得了领先水平，是非循环方法首次能够与强循环模型竞争。

    Dec, 2016

  • 一种基于 Transformer 的有效语境模型与时间门池化的说话人辨识

    该研究介绍了一种基于 Transformer 的上下文模型应用于演讲者识别的有效的端到端模型，探索了参数与性能之间的关系，并提出了具有强大学习能力的汇聚方法 Temporal Gate Pooling，通过在 VoxCeleb1 的演讲者识别任务上进行评估，取得了 85.9% 的准确率，与具有 317.7M 参数的 wav2vec2 相比具有可比较的精度。

    Aug, 2023

  • 深度上下文：端到端的上下文语音识别

    本文提出了一种新颖的自动语音识别 (CLAS) 系统，它对上下文短语进行深层次融合，对 ASR 进行了联合优化，并且在测试阶段可以识别未知词汇，相对于传统的浅层融合方法，提高了 68% 的相对识别率。

    Aug, 2018

  • 基于神经网络的上下文敏感式对话回复生成方法

    本篇论文介绍了一种新颖的响应生成系统，它可以在大量非结构化的 Twitter 会话上进行端到端的训练。该系统使用神经网络架构来解决在将上下文信息集成到经典统计模型中出现的稀疏性问题，从而允许系统考虑以前的对话话语。我们的动态上下文生成模型相对于基于上下文和非上下文敏感的机器翻译和信息检索基准具有一致的提高。

    Jun, 2015

  • 具有上下文短语预测网络的情境化端到端语音识别

    本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

    May, 2023

  • ContextNet：利用全局上下文提升卷积神经网络在自动语音识别中的表现

    本文报道了一种新的 CNN-RNN-transducer 结构 ContextNet，它包括一个全卷积编码器，通过添加 squeeze-and-excitation 模块将全局上下文信息嵌入到卷积层中，以及一个简单的缩放方法，实现了计算和准确度之间的良好折衷，这种模型在多个基准测试集上显著优于其他模型。

    May, 2020