本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。

Jul, 2015

我们提出了一种新的上下文词表示模型，由纯句法和概率角度设计。我们的模型类似于 transformers，能够竞争性地在小到中等规模的数据集上执行任务，希望能够弥补传统句法和概率方法与先进神经方法之间的差距，并激发未来更多基于语言学原则的神经方法的启发。

Nov, 2023

通过依存句法树到常量句法树的转换，使用递归神经网络语法模型（RNNGs）进行训练，并在多语言环境下进行了实证评估，来探讨在学习模型时哪种树形式最佳，对哪些语言最适用，并通过七种类型的句法测试比较了 9 种转换方法和 5 种语言的语言模型表现，研究结果显示，最佳模型相对于最差模型在所有语言中的精确度提高了 19％，也证明了在多语言环境中注入语法的积极作用。

Apr, 2022

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016

通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

Jan, 2024

本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。

Apr, 2018

本文介绍了一种神经语言模型，可以通过类似主题模型的架构将文档上下文（而非当前句子）作为简洁的表征加入模型中。实验表明，这种模型在语言模型困惑度和主题相关性方面优于仅基于句子的模型和标准 LDA 主题模型。同时，该模型还具有生成单个主题关联句子的功能，为主题的解释提供了另一种方式。

Apr, 2017

该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

Feb, 2021

本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

Jan, 2021

通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

Apr, 2020