- 自训练上下文嵌入的无监督双语挖掘与翻译
采用无监督学习方法使用多语言 BERT 创建伪平行语料库以提高机器翻译性能，并在不同任务中获得显著提高。
- EMNLP明确对齐是否能够稳定提高多语言编码器性能？
本文提出了一种新的对比对齐目标函数，主要应用于 OPUS 数据集，分析了单语和多语种上的效果，证明此方法优于以前的工作，但整体上，这些方法无法通过更强大的评估框架来提高性能，而更好的基础模型可以获得更好的性能。
- EMNLP多语言 BERT 的跨语言对齐方法：一项比较研究
本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零 - shot 设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充）， - 使用变形金刚和多任务学习识别混合代码社交媒体文本中的情感 - 在 SemEval-2020 任务 9 中的 UPB
本篇论文描述了研究团队为 SemEval-2020 Task 9 开发的两个系统，用于涵盖印地语 - 英语和西班牙语 - 英语这两种混合语言。通过介绍利用多种神经网络方法和预训练的单词嵌入的解决方案，我们提出的多语言 BERT 方法在印地语 - ICLR跨语言学习通用表征
本文介绍了一种基于 Hierarchical Contrastive Learning 的方法，用于学习句子级别的跨语言表示方法，在 XTREME 任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。
- Køpsala：基于转移的图解析，通过高效的训练和有效的编码实现
我们提出了 Køpsala 系统，它通过一个统一管道实现了增强型通用依赖关系和意义表示的解析，并利用适应自 Che 等人（2019）的基于转换的图形解析器来完成增强型图形解析。
- 多语言 BERT 中的各种语言是否平等？
本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数 - ACL在多语言 BERT 中发现通用语法关系
本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。
- 基于多语言 BERT 的跨语言跨度预测监督式词对齐方法
本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语 - 将多语言 BERT 扩展到低资源语言
本研究提出一种简单而有效的方法，扩展多语言 BERT (E-BERT)，使其可以为任何新语言提供帮助，并在 27 种语言上进行命名实体识别（NER）实验，结果表明我们的方法对已包含在 M-BERT 中的语言平均 F1 值提高了 6％，对新语 - 多语言 BERT 中跨语言能力和语言特异信息的研究
本研究针对跨语言能力对多语言 BERT 进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言 BERT 中的语言特定信息，通过操作潜在表示控制多语言 BERT 的语言输出，实现了无监督令牌翻译，并提出了一种计 - ICLR阿拉伯文本摘要的 BERT 微调
本文介绍了一种使用 fine-tuning 方法构建阿拉伯语文本摘要模型的方法，并且展示了该模型在抽取式和文本生成式摘要任务中的性能，同时还展示了该模型在多语种语料库上的性能表现。
- X-Stance: 一个用于立场检测的多语言、多目标数据集
利用来自瑞士选举候选人的评论，构建了一个多语言立场检测数据集，包含 3 种语言的 67,000 条评论，预先加入自然问题代表目标，并用此训练出一种适用于所有政治问题的单一模型，使用多语言 BERT 的基线结果表明，该方法在零样本的情况下，进 - ICLR多语种上下文词表示的对齐
提出了一种测量和加强上下文嵌入对齐的程序，证明其在分析和改进多语言 BERT 方面非常有用。在我们的对齐程序之后，BERT 在零 - shot 任务中表现显著提高。使用上下文版本的 Word Retrieval 任务，我们发现 BERT 存 - AAAI跨语言序列标注中词序信息的重要性
通过减少源语言单词顺序信息，实现跨语言模型的性能提升，并基于此提出了一种新的 fine-tuning 方法，可以在跨语言序列标注任务中实现更好的零 - shot 跨语言性能。
- 多语言 BERT 的跨语言能力：实证研究
通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。
- 使用 BERT 实现通用语言命名实体识别
本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。
- 多语言 BERT 有多少语言中性？
本文讨论了 Multilingual BERT (mBERT) 的语义属性，表明 mBERT 表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表 - EMNLP基于预训练多语言句子表示的零样本依存句法分析
本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL - Multilingual BERT 在语言生成方面是否流利？
本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现，发现该模型性能低于单语言模型，在某些情况下无法取代单语言模型，尤其在北欧语言方面表现不足。