评估基于Transformer的多语言语言模型的句法能力
本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现，发现该模型性能低于单语言模型，在某些情况下无法取代单语言模型，尤其在北欧语言方面表现不足。
Oct, 2019
该论文介绍了一个名为XTREME的跨语言多任务基准测试，它可以在40种语言和9个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。
Mar, 2020
通过多语言的句法评估套件CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语LSTMs在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。
May, 2020
Transformer Grammars是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。
Mar, 2022
本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。
Dec, 2022
本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。
May, 2023
本研究解决了多语言变换模型在印度语言中的编码能力和鲁棒性问题，填补了现有研究仅集中在英语及BERT模型的空白。我们提出了一个新颖的多语言基准数据集IndicSentEval，并分析了9个多语言变换模型在6种印度语言中的表现，发现专门针对印度语言的模型更好地捕捉语言特性，但在某些干扰下，通用模型表现出更好的鲁棒性。这些发现有助于优化与印度语言相关的自然语言处理任务。
Oct, 2024
本研究解决了低资源语言中语言模型对句法概括能力理解不足的问题，通过针对性句法评估测试，对巴斯克语、印地语和斯瓦希里语进行评估。研究发现，模型在某些句法任务上表现良好，而在其他任务（如巴斯克语中的间接宾语一致性）上则面临挑战，并揭示了现有转换模型的偏差和性能不足问题。
Nov, 2024