训练单词嵌入与高阶 n-gram 嵌入同时可以帮助消除上下文信息，从而得到更好的单词嵌入。通过在各种任务上显着优于其他竞争性单词表示模型，我们实证了我们的假设的有效性。

Apr, 2019

本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

Jul, 2022

基于自条件 CTC 的无适应参数方法可以通过替换中间 CTC 预测和传递纠正标签来提高对特定术语的识别准确性，实验证明该方法成功提高了未知单词的 F1 得分。

Jun, 2024

本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

Oct, 2017

本文提出了一种新的两阶段文本标准化方法解决语音合成中的 NSWs（数字，日期，范围，分数，缩写，URL，电子邮件，哈希标签和联系人名字）语义歧义和发音问题。第一个阶段使用基于模型的标注器检测 NSWs，第二个阶段使用基于正向词典的最大匹配算法将哈希标签，电子邮件地址和联系人名字等 NSWs 拆分为发音形式。实验结果表明，该方法的错误率较低，达到 6.67％。

Sep, 2022

研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

May, 2023

提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些包含大部分稀有长尾词汇的语音转文字任务有着更高的表现。

Apr, 2021

通过开发一个全面而健壮的框架 “Nbias”，我们能够检测和消除文本数据中的偏见，以确保数据的公正和道德使用。该框架包括数据层、语料库构建、模型开发层和评估层，并应用了基于 transformer 的标记分类模型识别具有独特命名实体的偏见词语 / 短语。通过定量和定性评估的混合方法，我们取得了 1% 至 8% 的准确率改进，同时还能全面理解模型的性能，捕捉其数量数据以及质量和复杂性的特征。该方法适用于各种偏见，并促进了文本数据的公正和道德使用。

Aug, 2023

本文提出了一种高效的方法来获取高质量的语境词列表，并将其作为上下文信息融合到非流式编码器和解码器中，以生成最终的识别结果，实验证明与基线系统相比，相对字符错误率降低了 20% 以上。

Jan, 2023

基于 Knuth-Morris-Pratt 算法的上下文偏置方法通过在束搜索期间提升匹配到一组偏置短语的令牌扩展的得分来解决偏向稀有实体的自动语音识别系统的问题，在不引入额外模型参数的情况下，本方法自身在偏置测试集上实现了显著的词错误率的降低，并在与基于模型的偏置方法相结合时获得了进一步的性能提升。

Sep, 2023