深度学习和自然语言处理在构造语法研究中产生了强大的模型，通过训练填空问题，显示了对丰富的语言信息和结构化知识的访问，本文旨在探索计算方法和构造语法研究之间的协同关系，并提供了深度学习模型的综合概述，以促进这两个领域的研究者之间的合作。
Aug, 2023
本文提出了 CALM 实验框架并使用梯度基于对抗攻击的方法对语言模型的内部表示进行破坏性实验，以评估其在执行特定任务时使用每个表示的能力。在对 BERT 等 LM 执行对应关系提示任务的案例研究中，发现 LM 在执行每个任务时所利用的表示高度交织在一起，但可以在它们最常被利用的任务方面进行有意义的解释。
Mar, 2023
通过引入评估语言模型因果推理能力的综合基准 CaLM，该论文提出了四个模块的基础分类法以及一个由 126,334 个数据样本组成的 CaLM 数据集，并对 28 个领先的语言模型进行了全面评估，并给出了 50 个高级经验发现，以提供未来语言模型开发的有价值指导。
May, 2024
本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。
Feb, 2023
通过对大型语言模型的解释性、因果干预方法的证据，以及多模态和模块化扩展，最近关于意识最低标准的争议以及在大型语言模型研究中的保密性和可重复性方面的担忧的讨论，该文讨论了大型语言模型及其对人类认知建模的相关性。
本文提出了一种基于理性意义构建的计算框架来实现语言驱动的思维，将语言和概率性推理的概率语言模型结合以构建适应上下文的符号推理模型，同时开发了统一的通用推理接口以实现全面的常识推理。
Jun, 2023
本文通过概率认知模型解释了语言模型的运行方式，尤其是展示了通过强化学习从人类反馈中优化的大型语言模型实现了一种类似于 Kahneman 快慢思考模型的思维模型，并讨论了强化学习作为快慢思考模型的局限性，并提出了扩展此框架的方向。总的来说，我们的工作表明，通过认知概率建模的视角来理解、评估和发展语言模型可以提供有价值的见解。
May, 2023
研究神经语言理解基础一直是各种科学研究项目的长期目标，最近的语言建模和神经影像技术的进展为语言的神经生物学调查和构建更好、更类人的语言模型提供了潜在的改进。本文综述了从早期研究将事件相关电位和源于简单语言模型的复杂性度量联系起来的一条线路，到使用大型语料库训练的人工神经网络模型与使用自然刺激的多个模态的神经响应记录相结合的当代研究。
Mar, 2022
通过学习构造语言学，将无人监督语法与语言学视角相结合，形成计算构造语法的任务，生成构建词的语料库；并且，将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。
Jan, 2023
通过序列记忆和分块构建的最小认知体系架构用于学习语言，替代了使用深度学习的大型语言模型，并且能够从零开始学习人工语言，并提取支持学习的语法信息。研究表明这种简单的架构的强大性，并强调序列记忆作为语言学习过程的关键组成部分的重要性，这可能解释了仅人类发展了复杂语言的原因。
Feb, 2024