研究发现，经过随即排列的句子进行预训练和 / 或微调的语言模型表现出与 GLUE 上竞争力的表现，这给单词顺序信息的重要性带来了质疑。尽管有一些研究表明位置嵌入对于模型在混乱的文本上表现良好似乎很让人费解，但我们对这些语言模型进行了单词顺序信息的探究并研究了从混淆的文本中学习的位置嵌入编码的内容，表明这些模型保留了与原始的自然顺序有关的信息。我们表明，这在某种程度上是由于先前的研究中所实现的混淆的微妙之处 —— 而不是在子单词分段之后而是在之前。但令人惊讶的是，我们发现即使是在子单词分段之后洗牌的文本上训练出的语言模型也保留了单词顺序信息的某些方面，因为句子长度和单字概率之间存在统计依赖关系。最后，我们证明除了 GLUE，各种语言理解任务确实需要单词顺序信息，这往往不能通过微调来学习。

Mar, 2022

通过探究自然语言处理模型中英语 BERT 和 GPT-2 语法角色的表示，发现其后期层次的单词聚类受到词序关系的影响，特别是在某些非典型语境下，词序知识对于正确的分类具有重要的作用，这突出了模型在非常规但至关重要的时刻如何使用上下文。

Mar, 2022

研究表明，使用 n-gram 语言模型和 LSTM 语言模型可以更有效地恢复句子的顺序，比一些最先进的句法模型表现更好。

Apr, 2016

通过使用一种新的称为 IBIS 的过程，本文否认了一种假说，即单词顺序对于进行 NLP 基准任务而言必须编码含义的观点，我们在 GLUE 套件和各种英语文本流派中的多种情况下证明这一点，并探讨了诸如 IBIS 这样的洗牌推理过程如何有益于语言建模和约束生成。

Sep, 2021

通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

Feb, 2024

这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。

Aug, 2018

该研究提出了一种基于 Transformer 模型的 Reorder-BART 方法，旨在将文本中的乱序句子整合为有条理的文本，并在 7 个数据集上取得了较优的结果。其在零样本情况下也表现出良好的泛化能力。

Apr, 2021

在本文中，我们通过添加一种顺序重构的视角并选择不同范围的数据集，重新审视了关于词序的假设，包括 “词序与词汇语义冗余” 和 “模型不依赖词序”。实证结果支持 ChatGPT 在推断中依赖于词序，但不能支持或否定词序与词汇语义之间的冗余关系。

Mar, 2024

本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量方面都优于之前的研究成果。

Aug, 2017

提出了一种新的神经语言模型，它不仅包含单词顺序，还包括字符顺序，并利用 skip-gram 网络实现了高效的并行训练，从而在语义和句法类比任务中取得了 85.8％的高分。

Jun, 2015