本文试图将神经语言模型的内部工作与语言学理论联系起来，特别关注了形式语言学中广泛讨论的复杂现象（负）极性项，并评估了神经语言模型处理这种构造的能力。我们展示了模型在许可环境和负极性项之间找到了一种关系，并且似乎意识到了这种环境的范围。通过这项研究，我们希望为其他将形式语言学与深度学习相结合的研究铺平道路。

Aug, 2018

本文探讨评估预训练句子表示模型的语法知识的五种实验方法，并以英语中的负极性项（NPI）许可作为案例研究。作者发现 BERT 对关键特征有较高的了解，但其成功程度在不同的实验方法中存在差异。作者认为在其给定领域内揭示模型语法知识的各个相关方面需要多种方法。

Sep, 2019

本篇论文旨在探讨比较语言学理论和神经语言模型之间的相关性，其中使用了语言模型来衡量语义距离并研究了其对于语言学的意义、提出了衡量语言模型中的意外性的方法以及证明了该方法在探究语言运用的知识结构方面的有效性。

Jul, 2022

使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习，并利用 prompt-based queries 生成合成文本以分析特定观点，证明即使在缺乏特定关键词的情况下，这些模型也能准确产生具有正确情感的大量文本。

Apr, 2022

本文研究语言模型作为多任务问题，结合了多任务学习，语言学和可解释性三个研究领域。通过研究来自语言学理论的假设，我们调查语言模型在训练过程中是否遵循多任务学习的学习原则。 为了展示这个想法，我们分析了语言模型在学习消极极性项（NPIs）的语言概念时的泛化行为。我们的实验表明：在更一般的语言建模任务的目标中，多任务设置自然地出现。我们认为这种洞察力对于多任务学习，语言学和可解释性研究都是有价值的，并且可能导致所有三个领域的令人兴奋的新发现。

Jan, 2021

通过将问题转化为自然语言推理任务，探索使用 negation 的 transformer-based 语言模型推理的能力，并通过一些预测问题，揭示它们处理不同类型 negation 的不同方式。

Apr, 2022

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020

研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

Apr, 2020

本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

Apr, 2022

通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

Jan, 2024