本文研究提出了一种基于知识图谱的语言建模方法，通过有效的格栅重排过程，达到了相对句子错误率的降低，为虚拟助手 ASR 的精度提高提供了强有力的支持。

Jun, 2021

通过在服务器端对口语信息领域查询使用各种类型的语言模型（N-gram 词语模型、子词神经模型）进行重计算，结合在设备上和服务器端的信号，通过整合各种服务器端语言模型相比仅在设备上执行 ASR，证明了在各种实体中心查询子群体中提高了 23%-35% 的字词错误率（WER）。此外，通过多个从头开始训练的服务器端语言模型的模型融合最有效地结合了每个模型的互补优势，并将领域特定数据所学到的知识集成到 VA ASR 系统中。

Nov, 2023

本研究调查了预先训练的语言模型在自动语音识别中的潜在用途，对比了大规模文本抽样和概率转换的应用。在八个特定领域的语料库中，发现采样的近似方法支持使用，插值与大规模文本语料库一起使用对比基线三元组能使测试困惑度提高 15％，我们引入了一种有限制的词汇解码方法，这将进一步提高 5％的改进。

Jun, 2023

该论文提出了一种新的 ASR 生成性错误纠正范式 ClozeGER，通过引入一种多模态 LLM（即 SpeechGPT）来改善纠正输出的忠实度，然后将 GER 重新设计为带有 logits 校准的 cloze 测试，以消除输入信息冗余并简化 GER 过程。实验证明，ClozeGER 在 9 个流行的 ASR 数据集上取得了新的突破。

May, 2024

本文提出了一种基于历史用户交互的实体流行度预测方法，将其整合到虚拟助手的语音识别组件中，从而有效提高其在发现未知实体方面的识别准确率。实验证明，该方法在不影响整体识别质量的前提下，在发现新实体名称时可以相对减少 20% 的错误率。

May, 2020

本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

Feb, 2022

我们提出了一种新方法，在自动语音识别系统中通过语义格处理利用深度学习模型来提高上下文识别的能力，从而准确地递交准确的转录结果，涵盖广泛的词汇和说话风格。我们在隐藏马尔可夫模型和高斯混合模型以及深度神经网络模型上融合语言和声学建模，通过使用基于 Transformer 的模型对单词格进行重新评分，实现了显著的性能提升和词错误率的明显降低，在 LibriSpeech 数据集上进行了实证分析，证明了我们提出的框架的有效性。

Oct, 2023

本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现有的浅层融合方法。

Mar, 2023

本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并结合预训练的通用语音识别模型，允许在不需要额外训练的情况下构建 SLU 模型，且在不同基准测试中表现超过其他需要更多资源的 SLU 方法。

Jun, 2022

使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

Sep, 2023