shallow fusion | BriefGPT - AI 论文速递

关键词shallow fusion

搜索结果 - 8

反向语言模型的迭代浅融合用于端到端语音识别
我们提出了一种新的浅层融合（SF）方法，利用外部的后向语言模型（BLM）来进行端到端自动语音识别（ASR）。在实验中，我们证实了浅层融合（SF）和迭代浅层融合（ISF）以及正向语言模型（FLM）之间的互补性，以及部分可识别句子感知的后向语言
PDF9 months ago
基于分解神经传输器的外部语言模型集成
本文提出一种基于外部语言模型的分解神经传输器（FNT）适应方法，通过浅层融合和基于类别的 n-gram 语言模型的集成，取得了最高 60% WERR 的新增收益。
PDFa year ago
用于流式多语言 ASR 的专家混合 Conformer
提出了一种流式的、真正的多语言 Conformer 模型，其中融合了 MoE 层以提高推理效率，经在 12 种语言上评估，相对于基线获得 11.9% 的相对 WER 改进；在不使用语言信息的前提下，与使用 Ground Truth 信息的适
PDFa year ago
使用大型语言模型进行大规模多语言浅层融合
利用单一多语言语言模型（LM）来进行多语言浅层融合任务，并将其应用于最先进的端到端模型，相对于类似推理期间的密集 LM ，GLaM 可将英语长尾测试集的 WER 降低 4.4 ％，平均相对 WER 降低 3.85％，并且最高降低 10％。
PDFa year ago
神经转换器中的个性化语音识别上下文适配器
本文提出了通过训练神经上下文适配器来实现个性化的自动语音识别（ASR）模型，并表明，相对于浅层融合方法，这种方法不依赖于外部语言模型且性能更好。
PDF2 years ago
使用 LM-aware MWER 训练来提高罕见词语识别
该研究介绍了在 discriminative training framework 中如何在 hybrid autoregressive transducer (HAT) 模型的学习中引入语言模型 (LMs) 来缓解训练和推理过程中使用 L
PDF2 years ago
基于 Trie 深度偏置和浅层融合的上下文流式端到端语音识别
提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些
PDF3 years ago
将外部语言模型融入到序列到序列模型的分析
本研究研究了基于注意力机制的序列到序列模型中对于浅层融合仿照外部语言模型在多种语言模型、不同的解码单元和不同任务下的一系列行为。在 Google 语音搜索中，我们证明使用基于字单位的神经语言模型和浅层融合可以相对于具有竞争力的注意力机制序列
PDF7 years ago