- 深度神经网络训练的下一词预测中自发出现的词类表示
探讨了人类语言习得中词汇分类的起源是基于先天内在结构还是出于自然学习的能力，利用人工神经网络预测语句中下一个词，揭示了也许由于预测编码和过程，大脑也可能形成抽象的词汇分类，即使其在训练时没有接收到有关词汇分类或语法规则的任何明确信息。
- GPT-3 对文章 + 形容词 + 数字 + 名词结构进行审慎的几千次判定
研究使用 GPT-3 对英语 Article + Adjective + Numeral + Noun 结构进行自然度判断，结果与人类自然度判断基本一致，但有时与文献及人类自然度判断存在差异。
- 使用梵音系统和有限状态机的语言分析
使用巴尼尼系统建立语音图，将单词表示为对语音图上状态的过渡方式，并定义接受给定 m 语言单词的形态有限自动机 (MFA)，以更好地理解口语中单词之间的相互关系。
- ACL基于语法指导的神经模组蒸馏探测句子嵌入的组合性
通过构建基于语法解析的神经模块网络，研究表明语法是句子嵌入模型合成能力中的强因果模型，同时发现句子嵌入模型的可深化性与性能相关，而非线性的语法引导合成只在处理非组成性短语时起作用。
- ReCode: 代码生成模型的健壮性评估
本文提出一种针对代码生成模型综合鲁棒性评估的基准测试 ReCode，并定制了超过 30 种变形以评估模型的鲁棒性性能，同时提出了针对每种扰动类型的鲁棒性度量，重点观察了在 SOTA 模型上的表现，发现 CodeGen 比 InCoder 和 - 自然语言处理的分类工具
该论文提出了范畴论和计算语言学之间的翻译作为自然语言处理的基础，结合语法、语义和语用三个方面，以字符串图表达统一的句法结构，利用函子将图表达式计算为逻辑、张量、神经或量子计算的语义，通过组成游戏将生成的函子模型进行组合，从而解决语言处理任务 - 基于语法依赖的无监督句法代换
本文介绍了一种新的方法 SSUD，通过利用语法关系的一个属性 —— 语法替换性，不需要监督下拉金标准解析，就能诱导出语法结构，从而帮助理解大型预训练语言模型（LLMs）的句法能力，提高依赖分析任务的定量和定性效果。
- EMNLP自回归语言模型中的增量解析状态探测
本研究评估了自回归神经语言模型在句法上对语法结构维护能力的学习程度，提出了几种用于从自回归语言模型中提取不完全的句法结构的探测器，并发现这些探测器可用于预测模型对于可疑前缀的偏好、对模型的表现进行因果干预，从而表明自回归神经语言模型的下一词 - 神经网络中的新兴语言结构是脆弱的
本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。
- EMNLP更好的语法，更好的语义？探究预训练语言模型对于英语比较关联的渗透
本文基于预训练语言模型研究了构式语法（CxG）与句法语义知识的兼容性，并探讨了预先训练的语言模型在英语比较关联结构（CC）的分类和理解中的表现，结果显示预训练语言模型的类人表现与语言学知识之间还存在显著差距。
- DALL-E 2 无法可靠地捕捉常见的语法过程
评估了 DALL-E 2 捕捉语言学家广泛讨论的 8 种语法现象的能力，结果表明 DALL-E 2 不能可靠地推断与语法一致的含义，这挑战了最近有关这类系统理解人类语言能力的论点。
- 大脑中的中心嵌入和组成结构及无上下文语言的新特性描述
用神经元的波动实现的计算系统最近被证明能够完成英语句子的依赖分析，本文讨论了该工作留下的两个最重要的问题：句法和处理依赖句子，特别是中心嵌入的问题，我们展示了这些语言方面的两个部分也可以通过神经元和突触实现，并且与我们已知的语言机制的结构和 - 使一阶线性逻辑成为生成文法
通过将对角线方法扩展到一个张量范畴中，我们展示了表征不同范畴语法的一个一阶乘性线性逻辑子集相当于最近引入的扩展张量类型演算，它不仅提供了先前的某些替代语法和直观几何表示，还具有本质的演绎系统。
- 代表系统理论：一种统一的编码、分析和转换代表的方法
该研究提出了一种新的理论 -- 代表性系统理论，通过结构变换技术，将一个系统中的表达方式变换到另一个系统中，从而通过统一的方法编码和选择代表性，具有广泛实用价值。
- ACL利用 Transformer 中的归纳偏置基于 VAEs 无监督地解离句法和语义
该研究提出了一种生成模型，展示了句法和语义的解耦合潜在表示，通过 Transformers 中注意力机制的归纳偏差生成文本，证明该模型对语法和语义具有明显的解耦效果，与有监督模型相比，具有较高的语法传递能力。
- 语法何时在神经语言模型性能中发挥作用？来自 Dropout 探针的证据
语言模型中使用的语法信息可能存在多余编码，通过一种新的探针设计，可准确引导探针考虑嵌入中的所有语法信息，揭示语法在当前方法未能探测到的模型中的有效性，进而通过注入语法信息提高模型性能。
- 探究什么让跨语言转移变得困难：Oolong 的受控研究
为了解决跨语言转移中诸如标记化、形态和句法变化等因素的影响，我们提出了一组控制性转移研究，针对 GLUE 任务逐一更改不同的因素，然后测量预训练模型在下游性能中的下降。我们发现，最具影响力的因素是将新的嵌入与现有的变压器层对齐，而旧有的预训 - 薛定谔树 -- 论语法与神经语言模型
本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。
- 语法分析应用于语义变化检测
本文探讨了词语语义变化检测方法的计算方式，介绍了一种基于形态句法行为变化的词汇语法分析方法（grammatical profiling），并证明其比某些基于分布式语义的方法（distributional semantic methods）更 - EMNLP通过迭代洗牌研究词序
通过使用一种新的称为 IBIS 的过程，本文否认了一种假说，即单词顺序对于进行 NLP 基准任务而言必须编码含义的观点，我们在 GLUE 套件和各种英语文本流派中的多种情况下证明这一点，并探讨了诸如 IBIS 这样的洗牌推理过程如何有益于语