本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量方面都优于之前的研究成果。
Aug, 2017
该研究提出了一种基于 Transformer 模型的 Reorder-BART 方法，旨在将文本中的乱序句子整合为有条理的文本，并在 7 个数据集上取得了较优的结果。其在零样本情况下也表现出良好的泛化能力。
Apr, 2021
本文提出了一个新的解释：遮蔽语言模型 (MLM) 成功地解决了下游任务几乎完全归功于其建模更高阶词共现统计量的能力。
研究表明，使用 n-gram 语言模型和 LSTM 语言模型可以更有效地恢复句子的顺序，比一些最先进的句法模型表现更好。
Apr, 2016
通过探究自然语言处理模型中英语 BERT 和 GPT-2 语法角色的表示，发现其后期层次的单词聚类受到词序关系的影响，特别是在某些非典型语境下，词序知识对于正确的分类具有重要的作用，这突出了模型在非常规但至关重要的时刻如何使用上下文。
Mar, 2022
此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。
Dec, 2020
本文介绍了一种使用神经语言模型 (LMs) 分析语言词序的方法，以日本语作为案例研究，通过实验，初步得出神经语言模型具有足够的词序知识用于分析工具，并利用该方法，显示了规范词序与主题化之间的关系。
May, 2020
这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。
Aug, 2018
本篇论文介绍了 GreekBART，这是第一个基于 BART-base 架构的 Seq2Seq 模型，经过大规模希腊语语料库的预训练。我们评估并比较了 GreekBART 与 BART-random、Greek-BERT 和 XLM-R 在各种区分性任务上的表现，并研究了其在两个来自 GreekSUM 的 Greek 语言生成任务中的性能。模型、代码和数据集将公开提供。
Apr, 2023
本文探讨了预训练的序列到序列模型在相关语言群中的应用，关注印欧语言。我们介绍了 IndicBART - 一种针对 11 种印欧语言和英语的多语言序列到序列预训练模型。通过利用印欧语言之间的拼写相似性，IndicBART 在类似印欧语言之间进行转移学习，获得了不错的性能表现。研究表明，即使相对较小的 IndicBART 模型在机器翻译和极端摘要等任务上也具有与大型预训练模型相媲美的性能，甚至在很低资源的情况下依然表现优异。模型参数共享，多语言训练等技术有助于提高 IndicBART 模型的性能水平。
Sep, 2021