neural network language model | BriefGPT

关键词neural network language model

搜索结果 - 5

语音识别自适应多语料语言模型训练
本文提出了一种新颖的自适应多语料库训练算法，该算法可以动态学习和调整每个语料库的采样概率，相较于静态采样策略可使得领域内和领域外的适应任务分别取得相对 7% 和 9% 的字词错误率降低。
PDF2 years ago
使用私有联邦学习为资源受限设备训练大词汇神经语言模型
使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。
PDF2 years ago
抽象化摘要生成中的可微 N-gram 目标
本文提出了可微的 n-gram 目标，旨在缓解训练标准和评估标准之间的差异，该目标最大化匹配子序列的概率权重，在 CNN/DM 和 XSum 的抽象摘要数据集上提供了相当的 ROUGE 分数提高，该方法优于其他 n-gram 目标
PDF2 years ago
基于 Trie 深度偏置和浅层融合的上下文流式端到端语音识别
提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些
PDF3 years ago
基于流式递归神经网络转录器的神经语言模型融合改进
本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。
PDF4 years ago