Jan, 2022

利用细粒度上下文知识选择提升端到端上下文语音识别

PDF
TL;DR本篇论文主要探讨利用细粒度上下文知识选择方式，以降低基于 “专有” 短语的上下文建模产生的不确定性问题，并引入位置信息来更好地区分短语或令牌，达到在语音识别上提高识别准确率的效果。
contextual speech recognitionfine-grained contextual knowledge selectionall-neural biasing methodtoken-level predictionposition information
发现论文，激发创造
  • 具有上下文短语预测网络的情境化端到端语音识别

    本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

    May, 2023

  • 通过上下文引导增强个性化并减少偏见的 CoS

    通过测量预测标记的可能性以及调控它，我们提出了适用于自动回归 LL 模型的简单无需训练的方法，被称为 CoS （Context Steering），使实践者能够根据其特定用例和终端用户群确定适当的上下文影响水平，并展示了 CoS 的各种应用，包括增强上下文影响以实现更好的个性化和减少模型偏差所产生的无用影响，此外，还展示了如何结合贝叶斯推断来量化互联网上的仇恨言论，我们在最先进的 LL 模型和基准测试上展示了 CoS 的有效性。

    May, 2024

  • 基于 Trie 深度偏置和浅层融合的上下文流式端到端语音识别

    提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些包含大部分稀有长尾词汇的语音转文字任务有着更高的表现。

    Apr, 2021

  • 具上下文的端到端自动语音识别及中间偏置损失

    提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

    Jun, 2024

  • FCTalker：细粒度和粗粒度上下文建模用于生动的对话语音合成

    FCTalker 是一种基于 fine and coarse-grained encoder 的语音合成模型，使用了基于 BERT 的对话编码器来建立话语历史与语音合成之间的单词级别依赖关系，以提高合成语音的表现力和适应性。

    Oct, 2022

  • 延迟 NAM: 通过延迟上下文编码实现低延迟的 Top-K 上下文注入非流式自动语音识别

    移动轻量级短语选择传递至上下文编码器前，可以将速度提高至 16.1 倍，并使得偏置能够适用于包含最多 20K 短语的情况，而最大的预解码延迟不超过 33ms。通过短语和词元级交叉熵损失的加入，我们的技术相较于没有这些损失和轻量级短语选择传递的基准技术，还获得了最多 37.5% 的相对词错误率降低。

    Apr, 2024

  • C2-CRS：面向对话推荐系统的粗到细对比学习

    该研究提出一种粗粒度到细粒度对比学习框架以提升自然语言对话式推荐系统中外部数据的语义融合，旨在解决从有限的对话内容中精准推断用户偏好的问题，并在公共数据集上进行了广泛的实验来证明效果。

    Jan, 2022

  • 上下文感知的端到端语音识别

    本研究提出了一种对话上下文感知的语音识别模型，该模型可以在端到端的方式下明确地使用除句子级别信息以外的上下文信息，以使整个系统能够被训练得更好并表现得更优秀。我们在 Switchboard 交谈语音语料库上评估了我们的方法并显示出优于可比较的句子级端到端语音识别系统的效果。

    Aug, 2018

  • 具有对话上下文信息的声学到词语模型

    直接从声音到单词，利用交际上下文信息的端到端语音识别模型，在 Switchboard 语料库上验证表现优于现有模型。

    May, 2019

  • 上下文化动态词汇的自动语音识别

    通过使用动态词汇表中的短语级别偏置令牌，提出的方法改善了英语和日语数据集上偏置短语在端到端自动语音识别中的性能。

    May, 2024