- 面向设备上的虚拟助手的世界英语语言模型
通过使用适配器瓶颈来模拟方言特性，我们结合多种区域变体的英文构建了一个 “世界英语” 神经网络语言模型，以提高虚拟助手的可扩展性。
- 通过示例进行抽象化？BERT 中词汇类别推理的表征案例研究
我们通过分析 BERT 在语言学敏感任务中的表征行为，发现它在使用新词汇时能够向已知词汇的类别示例区域推广，这表明学习者的示例编码能够产生类似于抽象的行为。
- 基于贝叶斯神经网络的语言模型用于语音识别
提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AM - 现实与语言数据的限制
这篇研究使用一个新颖的推理测试来探索语言数据对于计算机理解物理世界的可行性，并强调模型可能直接从纯语言数据中学习的内容。
- 测试自然语言模型预测人类语言判断的界限
通过有争议的句子对比较，研究人员发现 GPT-2 是最符合人类语言处理的神经网络语言模型，但也存在与人类感知不符的缺陷。
- 面向端到端语音识别的神经 FST 类语言模型
提出了一种新方法 -- 神经 - FST 级语言模型（NFCLM），它将神经网络语言模型（NNLM）和有限状态转换器（FST）结合起来用于端到端语音识别，这种方法通过背景 NNLM 模拟通用背景文本和称为 FST 的一系列特定领域实体 。
- ACL神经语言模型的结构弱点：被盗概率
本文研究了神经网络语言模型的内部偏差，并证明了嵌入空间中的概率上限与其凸壳边界上的单词相关。
- AAAI只需添加功能：神经符号语言模型
本文提出了一种方法来增强神经网络语言模型的归纳偏好，即通过将简单的函数结合到神经体系结构中形成分层神经符号语言模型，进而显著降低小语料库语言建模的困惑度，并证明其表现提高在更大的语料库中也会持续提升。
- ACL神经语言模型作为心理语言学研究对象：句法状态的表征
本研究使用控制的心理语言学实验方法，研究神经网络语言模型对句法状态的递增表示程度，发现 LSTM 序列模型在训练大型数据集时能够对文本中的广泛句法状态进行有效的表示，而对小型数据集的训练效果不如递归神经网络 (RNNG)。
- ICLR使用连续缓存来改进神经语言模型
本文提出一种扩展神经网络语言模型以适应最近历史的方法，将过去的隐藏活性作为记忆保存，并通过与当前隐藏激活的点积来访问它们，此机制非常高效，能够扩展至非常大的存储空间。同时，作者指出了神经网络外部存储与基于计数的语言模型中缓存模型之间的联系， - TheanoLM - 用于神经网络语言模型的可扩展工具包
使用 Python 库 Theano 开发而成的一款新的神经网络语言模型训练工具，在芬兰和英语会话语音识别任务中被评估，相对最佳的 N-gram 模型取得显著的改进；芬兰任务的结果表明，与现有的 RNNLM 和 RWTHLM 工具包相比，同 - AAAI使用神经网络语言模型进行作者归属判定
研究了神经网络语言模型在作者归属问题上的性能，发现与传统非参数化模型相比，其性能更优越。
- 大词汇神经语言模型的训练策略
本研究系统比较了代表性的方法来表示和训练大词汇下的神经网络语言模型，包括 softmax、层级 softmax、自归一化等方法，并在三个流行的基准数据集上评估了每种方法在罕见词汇、速度 / 精度平衡以及与 Kneser-Ney 模型之间的互 - 神经语言模型在俄语语义相似性任务中的应用
该研究论文探讨如何通过神经网络语言模型来计算俄语的语义相似度，并介绍了应用的工具、语料库、实验结果以及学习这种语义向量的潜在用途。
- ACL神经网络语言模型的增量适应策略
本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。