在本文中，我们通过添加一种顺序重构的视角并选择不同范围的数据集，重新审视了关于词序的假设，包括 “词序与词汇语义冗余” 和 “模型不依赖词序”。实证结果支持 ChatGPT 在推断中依赖于词序，但不能支持或否定词序与词汇语义之间的冗余关系。

Mar, 2024

语言的世界呈现出特定的类型学或意向性普遍现象；例如，主 - 宾 - 动 (SOV) 的语序通常使用后置词。通过语言模型的计算模拟，我们研究了语序普遍现象。我们的实验表明，具有类型学典型语序的语言模型的困惑度较低，其中包括认知可行的偏见：句法偏见、特定分析策略和记忆限制。这表明认知偏见和可预测性（困惑度）之间的相互作用可以解释语序普遍现象的许多方面。这也展示了在计算模拟语言普遍现象时的认知驱动语言模型的优势，这通常在认知建模中使用。

Feb, 2024

本文探讨了语言处理中的单词顺序问题，并提出了基于语言学、心理语言学、计算语言学和自然语言处理的理论模型。进一步，为了优化处理单词最小化相关性，提出一种新的单词顺序，重点关注远距离依赖的人类和计算语言处理困难。最后探讨这些单词顺序对于人类语言和计算模型的影响。

Aug, 2021

本文介绍了一种使用神经语言模型 (LMs) 分析语言词序的方法，以日本语作为案例研究，通过实验，初步得出神经语言模型具有足够的词序知识用于分析工具，并利用该方法，显示了规范词序与主题化之间的关系。

May, 2020

研究发现，经过随即排列的句子进行预训练和 / 或微调的语言模型表现出与 GLUE 上竞争力的表现，这给单词顺序信息的重要性带来了质疑。尽管有一些研究表明位置嵌入对于模型在混乱的文本上表现良好似乎很让人费解，但我们对这些语言模型进行了单词顺序信息的探究并研究了从混淆的文本中学习的位置嵌入编码的内容，表明这些模型保留了与原始的自然顺序有关的信息。我们表明，这在某种程度上是由于先前的研究中所实现的混淆的微妙之处 —— 而不是在子单词分段之后而是在之前。但令人惊讶的是，我们发现即使是在子单词分段之后洗牌的文本上训练出的语言模型也保留了单词顺序信息的某些方面，因为句子长度和单字概率之间存在统计依赖关系。最后，我们证明除了 GLUE，各种语言理解任务确实需要单词顺序信息，这往往不能通过微调来学习。

Mar, 2022

研究了五种语言中的词序的效率和局部词汇概率，提出了语言能力的偏见来自大脑对语言的理解，促使人类语言代际传播的方式不断变化。

Oct, 2015

通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

Feb, 2024

本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

May, 2019

此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。

Dec, 2020

通过 80 种语言的语料和系统发展模型，研究说明了单个语言中词序变化的频率分布和演化，说明词序变异反映了语言在维持总体有效性方面优化竞争压力的不同方式。研究结果表明，语法结构和使用在有限的认知资源下相互协调以支持有效沟通。

Jun, 2022