关键词n-gram language models
搜索结果 - 5
- Infini-gram：扩展至万亿标记的无界 n-gram 语言模型
n-gram 语言模型在神经网络大型语言模型时代仍然具有重要意义，本研究展示了其在文本分析和改进神经网络大型语言模型中的价值，并从两个方面对 n-gram 模型进行现代化改进：在与神经网络大型语言模型相同的数据规模下进行训练，建立最大的 n - 低资源语言建模中上下文的重要性
研究了低资源语言模型预训练，当可用的句子少于 100,000 条时。在低资源情况下，统计 n-gram 语言模型优于最先进的神经模型，主要是因为前者专注于局部上下文。因此，引入了三种方法来提高神经模型在低资源环境下的性能，发现限制模型的自我 - N-gram 语言模型联邦学习
提出使用联邦学习算法来训练生产级的 n-gram 语言模型，以解决在处理隐私敏感数据时面临的数据安全问题，该算法特别适用于便携式设备，如智能手机。同时通过将递归神经网络语言模型近似为能快速部署在设备上进行推理的 n-gram 模型，实现了联 - ACL快速、紧凑、准确：压缩后缀树的无限阶语言建模
本文介绍一种基于压缩后缀树的语言模型，该模型具有高度紧凑的表现形式，可在内存中轻松容纳，并支持在计算语言模型概率时所需的查询。该模型在构建时间和内存使用方面仅会导致适度的增加，但是可以通过多种优化方式提高查询运行时间，达到高达 2500 倍 - EMNLP整合语言模型与语义信息的词语预测组件方法
本文研究了使用 Latent Semantic Analysis（LSA）方法增强语言模型的预测能力，并提出并评估了几种整合 LSA 的方法，包括语义缓存，部分重新排序和插值等。与 4-gram 基线和简单缓存模型相比，我们发现所有的方法都