本文探讨了现代语言模型中是否包含通过所谓的探针恢复的语言知识的持续争论，并研究了语言知识是否是现代语言模型良好性能的必要条件，提出了信息论框架，旨在将语言建模目标与语言信息相关联，并强化了成果通过对合成和实际NLP任务的各种实验。

Mar, 2021

本文研究了大型预训练语言模型中内嵌的语言知识，并探索了同时存在的竞争性语言过程如何影响模型行为。通过对四种语言中的一个现象进行实验，发现模型行为存在跨语言差异。而有针对性的微调可以重新建立学习的约束，揭示模型中否则未表现出的语言知识。

Jun, 2021

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

本篇论文旨在探讨比较语言学理论和神经语言模型之间的相关性，其中使用了语言模型来衡量语义距离并研究了其对于语言学的意义、提出了衡量语言模型中的意外性的方法以及证明了该方法在探究语言运用的知识结构方面的有效性。

Jul, 2022

本文探讨了如何比较语言模型和人类的能力，并通过一个案例研究表明，给大型语言模型提供一个简单的提示可以使其在处理递归嵌套的语法结构时完善其表现，并指出了评估的差异可能会影响语言模型和人类之间的比较，从而强调了评估认知模型和基础模型之间的重要区别。

Oct, 2022

今天的大型语言模型(LLMs)可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出LLMs显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

Jan, 2023

当前大型语言模型（LLMs）在生成符合语法、流畅的文本方面无与伦比。这篇论文针对LLMs的能力进行了辩论，并通过批判性评估三个经常在批评中出现的观点来展示LLMs仍需更多细化。其次，文章从实证和理论的角度提出了对LLMs中“真正”的理解和意向性的实用观点，并讨论了在何种情况下将心理状态归因于LLMs对于这一日益重要的技术在社会中具有实用的哲学背景。

Oct, 2023

神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管LM训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估LM语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger数据集）上，LM在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将LM与儿童语言习得的实证研究进行联系的建议。

Oct, 2023

大型语言模型，如GPT-4，在广泛的基于语言的任务中取得了显著的熟练度，这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分，旨在为哲学家提供关于语言模型的介绍，并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为，语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而，我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础，第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。

Jan, 2024

本文认为大型语言模型在作为语言的科学模型方面具有宝贵的科学作用，语言学研究不仅应关注语言能力背后的认知过程，还应关注语言作为外在的社会实体。通过回应一系列认为语言模型无法提供语言洞察力的论点，该文辩护了这一立场，并借鉴了科学哲学领域的最新研究，展示了大型语言模型如何能够作为科学模型的可能性。

Apr, 2024