- 在词序变异中最小化交换距离超越熵最小化
考虑语言结构的所有可能排列顺序的问题，研究了熵最小化和交换距离最小化原则对于 $n=3$ 或 $n=4$ 的语言结构中的影响，并通过掷骰实验和词序频率随机排列验证了熵最小化和交换距离最小化的强有力证据。
- 了解非线性：Shapley 互作用揭示数据的底层结构
使用 Shapley Taylor 交互指数 (STII) 分析语言模型和图像分类器中的非线性特征交互，并研究数据结构对模型表达的影响。结果表明，语言模型在成语表达中非线性特征交互增加，而依赖句法结构性更多的自回归语言模型使得 STII 随 - EMNLP可扩展的、数据驱动的理论: NLP 科学进展的范式
我提出了一种以发展可扩展的、数据驱动的语言结构理论为核心的 NLP 科学进展的理念，该理念在于以严格限定的方式收集数据，并通过机器学习构建解释性理论，以构建可理解的 AI 系统的基础。本文介绍了使用基于问题 - 答案的语义角色标注 (QA- - Twitter 上的谣言检测和分析
本文建立了一个自然语言处理系统来预测谣言并探索了谣言和事实的差异，通过 COVID-19 推文分析，结果表明语言结构是区分谣言和事实的更好特征，而谣言推文中包含更多与政治和负面情绪相关的词汇。
- 神经网络中的新兴语言结构是脆弱的
本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。
- EMNLP序列到序列模型对结构泛化的困难
通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。
- NLP 研究者的信仰是什么？NLP 社区元调查结果
本文介绍了 NLP 社区元调查的结果，涉及人工智能、道德伦理等多方面的问题，结果表明，对于人工智能的重要性、语言模型对语言的理解、语言结构以及归纳偏差对于解决 NLP 问题的必要性等问题，调查结果分歧较大，同时发现社区对于基准的有用性和扩展 - EigenNoise: 一种对启动表示进行对比学习的先验
本研究提出了一种基于稠密、独立共现模型的简单初始化方案，具有与经验训练的 GloVe 相当的性能，并探索了基于谐波语言结构理论的更智能初始化方案的可能性。
- EMNLP将视觉空间、语言和常识结构融合于故事可视化
本文讨论如何更好地将文本转化为对应的图像序列，包括利用 Transformers、constituency parse trees、commonsense 信息以及 visuo-spatial 信息，最终提高了生成图像的质量和一致性。
- BERT 上语法信息编码的演进
本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。
- EMNLP基于维度选择的内在探测
本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中 - EMNLP帕累托探测：以复杂度为代价平衡准确性
通过引入 Pareto hypervolume 作为评估度量和依赖文法分析作为更难的探针任务，从而探究探针评估下的文本语言结构和语义表示的性质和限制。
- ACL话语不够，次序至关重要：关于视觉指称表达的鲁棒性
该论文研究了视觉指代表达识别这一挑战性任务，发现现有方法未能充分利用语言结构，提出了两种增强其健壮性的方法，并提供了数据集以供使用。
- EMNLP不先告知就提问：探究语境表示中的潜在本体论
本研究介绍了一种名为潜在子类学习的方法，通过这种方法可以从输入表示中提取出诸如人的概念等熟悉的类别，以及对于核心参数的细粒度语义角色的首选，这些结果为预训练编码器中的新兴结构提供了独特的新证据。
- MinWikiSplit：一个最小命题的句子分割语料库
该研究文献介绍了一个新的句子分割语料库，其中包括 203K 个对齐的复杂源语句和简化目标语句。该语料库有利于开发将具有复杂语言结构的句子转化为简单结构的方法，以利于其下游应用的处理和提高性能。
- ACL打开西门子：深入探讨 BERT 的语言知识
本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的 - ACL神经机器翻译中的潜在句子结构建模
本篇研究探究了使用不同编码器进行神经机器翻译（NMT）时，受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明，使用 RNN 编码器时，模型几乎不使用结构感知工具；相反，CNN 和 - 深入探究匿名性：Quora 问题的大规模分析
通过 5.1 万个问题的分析，揭示了社交问答平台 Quora 上匿名和非匿名问题的差异：匿名问题的提问者更倾向于谈论抑郁、焦虑以及个人的问题，且匿名群体与外向性、宜人性呈现正相关，与开放性质呈现负相关；此外，对于个人与敏感问题的回答，社区支 - ACL语法有助于 ELMo 理解语义：在深层神经结构中，语法仍然相关吗？
本研究研究了关于是否通过无监督的方式来学习丰富的上下文化令牌表示，从而消除了在神经网络模型中显式建模语言结构的需要，最后得出结论，即使使用 ELMo 表示，句法相关模型仍然优于无句法模型，尤其是对于领域外的数据。
- ACLSeq2Seq-Attention 模型中语言泛化和失败之间的微妙平衡
研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想，而本文探讨了在一个简单的、明确定义的结构转换任务中，该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。