- gzip 预测数据相关的缩放规律
通过改变数据复杂性的方式生成不同复杂性的训练数据集，发现参数和训练数据量的缩放规律对数据复杂性非常敏感，并且发现 gzip 压缩算法能够有效预测数据复杂性对性能缩放规律的影响，提出了一个新的与数据相关的神经语言模型缩放规律，该规律考虑到了训 - 神经传输器中的鲁棒声学语义上下文偏置在语音识别中的应用
研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表 - ACL对话中的建构重复降低信息传输速率
本研究旨在探究英语开放领域口语对话中词汇构造的重复现象及其对语言信息负荷的缓解效果，结合神经语言模型的信息内容定量分析结果表明，重复使用构造能够降低话语信息含量，特别是在频率和密度较高、涉及指称构造的情况下效果更佳。
- 隐式模式网络
提出了一种基于神经语言模型和变分自编码器（VAE）的语义可解释的组合表示学习方法，该方法能够从文本数据集中发现符号网络（模式），并在语言建模任务上取得了最先进的结果。
- EMNLP评估自由文本解释的理由标签一致性指标
提出了一个名为 FRAME 的框架，它是一个评估自由文本 rationale 的一致性度量的框架。我们发现现有的度量无法满足 FRAME 的三个公理，因此引入了一个新的非预训练 RLC 指标，在最大化 RLC 的同时很好地适应了语义扰动。最 - ACL使用 500 个任务评估预训练语言模型的适应能力
本文采用新的基准 TaskBench500，从 500 个生成过程中的序列建模任务中，大规模地实证研究了 LM 适应性的特征和限制，发现 LM 在适应性上存在重要差异性和局限性，提出了 LM 适应性的三个方面。
- ICLR基于全局上下文的 GNN 语言建模
通过建立一个包含语料库中与输入内容相关的类语境环境节点的有向异构图，将 GNN-LM 扩展到传统的神经语言模型中（LM），并基于该图构建 GNN 网络来提高模型的泛化能力，有效地实现了对参考上下文的直接访问，展示了它在不同数据集上优于现有方 - EMNLP将批评转化为对话推荐系统的偏好：对话推荐系统的前景不妙
本文提出了一种基于神经语言模型的方法，将用户的美食评价转化为正面的喜好，以检索出更好的美食推荐，进而在餐饮领域中优化推荐效果。
- 通过观察激发灵感：展示自动生成文本对创意写作的影响
通过分析人类作者观察自动生成文本的例子如何影响写作，本文探讨了一种句子填充任务，研究了人类和基于神经语言模型的自动化系统在填写任务中的表现，并发现人类作者在观察生成的例子时能够写出更能激发读者兴趣的故事情节，证明了用观察启发的方式可以通过自 - MM利用跨句上下文和多任务语言建模进行电子商务聊天机器人的语音识别适应
本文探讨了改进 Transformer-XL NLM 以重评 ASR N-best 提示的各种技术，包括利用上下文化、域自适应和多任务模型等方面；结果显示，模型的性能明显优于 LSTM LM 基准模型。
- 多个平行短语建议对母语和非母语英文写作者的电子邮件输入和组成行为的影响
本研究利用神经语言模型对多词语建议在电子邮件写作中的输入和文本组合方面对外语和非外语人士的行为进行了研究，发现多词语建议提高了想象力，但牺牲了效率，非母语人士对多个建议的词语受益更多。我们探讨了这些发现对于研究、交互式建议系统的设计以及支持 - EMNLP自然语言处理应用描述中的透明度建模
使用基于神经语言模型的概率度量直接建模公开透明度，证明这些度量与用户和专家对系统透明度的观点相关，并在一些真实的 NLP 系统描述文档中展示这些度量的用途，量化透明度、混淆和用户感知之间的关系。
- ACL序列到序列模型能破解替换密码吗？
我们提出了一种多语言模型，用于解密简单替换密码，通过测试合成和真实历史密文，证明该方法可以在不需要明确语言识别时解密文本，同时还能抵抗噪声。
- EMNLP用神经语言模型解决历史字典编码
该研究使用构建解码格和神经语言模型搜索格子的方法，对收集自美国国会图书馆的加密信件进行解密，成功率达到 75.1%。
- EMNLP藏头诗生成
本文探讨了英文藏头诗的生成问题，提出了基于条件神经语言模型和神经押韵模型的模型，并通过预训练和利用少量有题目标注的诗歌训练、主题分类等手段生成了一个适用的训练集，实验结果表明，我们提出的方法生成的英文藏头诗在语义、语音等方面与输入的提示密切 - COLING神经语言模型的语言学分析
本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力 - EMNLP基于自适应算术编码的几乎不可察觉的神经语言隐写术
本研究提出了一种新的语言隐写方法，利用基于神经语言模型的自适应算术编码对秘密消息进行编码，并在四个数据集上验证了该方法的统计隐蔽性及其比之前的最先进方法在位数 / 单词和 KL 指标方面分别提高了 15.3% 和 38.9%，人类评估表明 - 以事实为专家：基于符号知识的可适应和可解释神经记忆
该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。
- 让故事活起来：生成交互式小说世界
本文主要介绍了一个基于知识图谱和神经语言模型的交互式小说生成算法，通过提取常识和主题知识来实现语义连贯、有趣、一致的文本世界，实验结果显示该模型优于规则和人工基准。
- ICLR记忆化泛化：最近邻语言模型
引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练