本研究针对神经机器翻译中的迁移学习方法展开研究，发现在源语言和目标语言间无或很少平行语料时，配合的语言与源语言词序差异会对迁移学习的效益产生负面影响。为了解决这种差异性，我们提出预先调整辅助语言句子的次序以便与源语言统一词序并对父级模型进行训练。实验表明，消除差异性对于提高翻译质量来说具有显著的改善作用。

Nov, 2018

本文介绍了一种使用神经语言模型 (LMs) 分析语言词序的方法，以日本语作为案例研究，通过实验，初步得出神经语言模型具有足够的词序知识用于分析工具，并利用该方法，显示了规范词序与主题化之间的关系。

May, 2020

本文研究不同语言的词序，并假设一个与词序无关的模型将在转移到远程外语时表现更好。通过在英语语料库上训练依赖解析器，并在 30 种其他语言上评估它们的转移性能，我们比较基于递归神经网络（RNN）和修改的自我注意体系结构的编码器和解码器。严格的实验和详细的分析表明，基于 RNN 的架构在传输到接近英语的语言时表现良好，而自我注意的模型具有更好的整体跨语言可转移性并在远程语言上表现特别好。

Nov, 2018

本文研究了神经机器翻译系统在不同语言对之间的翻译表现，发现目标语言与英语越相似，翻译表现越好。另外，还探讨了在基于 Transformer 的模型中提供英语词汇的词性标记对翻译表现的影响。

Dec, 2021

研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

Mar, 2019

使用一个多语言圣经语料库，通过引入新的配对样本混合效应模型，扩展先前工作以涵盖 13 种语系的 69 种语言，并试图回答困难语言的共同特征问题，结果发现语言的翻译版与本地写作语言一样难以建模。

Jun, 2019

研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

Apr, 2020

通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

Feb, 2024

本文使用翻译文本开发了一种公平的跨语言语言模型比较方法，在 21 种语言中展示了复杂的屈折形态是导致不同语言性能差异的原因。

Jun, 2018

使用依赖通用模式的强大重排序方法，能从少量的标注数据中学习到依赖语法上下文的精细词序模式，并在所有语法树的层级上应用，通过实验验证在零样本和少样本场景下相比强基准模型始终有优势。

Oct, 2023