通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

Feb, 2024

研究通过语言模型从原始文本中诱导世界知识时，词序对其的影响，使用词类比来探究这种知识。从五种语言分别提取六种固定词序的文本，对这些文本进行预训练。最终，分析了固定词序在词类比任务上的实验结果，发现某些特定的固定词序始终优于或不如其他词序，并且这些具体情况因语言而异。另外，发现 Wov2Lex 假设在预训练语言模型中不成立，而自然的词序通常导致中等水平的结果。源代码将在以下网址公开。

Mar, 2024

本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量方面都优于之前的研究成果。

Aug, 2017

使用 BART 语言生成模型进行词序排序能够提高性能，其作用原因是 BART 模型中的句法依赖知识。相关线性化任务也可得到改进。

Apr, 2022

本文探讨了语言处理中的单词顺序问题，并提出了基于语言学、心理语言学、计算语言学和自然语言处理的理论模型。进一步，为了优化处理单词最小化相关性，提出一种新的单词顺序，重点关注远距离依赖的人类和计算语言处理困难。最后探讨这些单词顺序对于人类语言和计算模型的影响。

Aug, 2021

本文提出了一个新的解释：遮蔽语言模型 (MLM) 成功地解决了下游任务几乎完全归功于其建模更高阶词共现统计量的能力。

Apr, 2021

语言的世界呈现出特定的类型学或意向性普遍现象；例如，主 - 宾 - 动 (SOV) 的语序通常使用后置词。通过语言模型的计算模拟，我们研究了语序普遍现象。我们的实验表明，具有类型学典型语序的语言模型的困惑度较低，其中包括认知可行的偏见：句法偏见、特定分析策略和记忆限制。这表明认知偏见和可预测性（困惑度）之间的相互作用可以解释语序普遍现象的许多方面。这也展示了在计算模拟语言普遍现象时的认知驱动语言模型的优势，这通常在认知建模中使用。

Feb, 2024

研究表明，使用 n-gram 语言模型和 LSTM 语言模型可以更有效地恢复句子的顺序，比一些最先进的句法模型表现更好。

Apr, 2016

探究自由语序语言和固定语序语言在自然语言处理技术中的表现差异，针对神经机器翻译技术的困难，提出了使用语态标记来解决歧义问题，但在中低资源情况下，固定语序的语言仍然表现出了更好的整体机器翻译质量。

Jul, 2021

这篇论文提出了一种技术，可以确保生成式语言模型在给定的子序列集合上不受顺序相关性的影响，从而消除顺序相关性。结果表明，该方法对预期的准确性影响较小，而且可以应用于任何基于 Transformer 的大语料库模型，对文本生成没有影响，进一步讨论了通过修改输入表示可以获得其他强大的 LLM 性能保证的可能性。

Jun, 2024