- 主题分类的单 / 跨语言知识迁移
通过研究 RuQTopics 数据集中的知识转移情况，本文证明了该数据集非常适合用于实际对话任务，在多语言 BERT 上进行训练可以带来更好的结果。
- EMNLP多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？
该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。
- 将多语言模型应用于问答（QA）
研究单语和多语言语言模型在英语、芬兰语和日语问答任务中的表现，并开发用于判断问题是否可回答和标识上下文中答案的模型，并尝试评估预训练的多语言编码器（Multilingual BERT）在跨语言零 - shot 学习中的效果。
- 使用多语言 BERT 进行零样本跨语言迁移中的特征聚合
本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零 - IIITDWD-ShankarB@ Dravidian-CodeMixi-HASOC2021: 基于 mBERT 的南印度语言冒犯内容识别模型
本研究采用多语言 BERT 提取特征，并在其上使用三个不同的分类器以识别社交媒体上的辱骂内容，最终在 Malayalam 数据上获得 0.70 的加权 F1 分数并排名第五，在 Tamil 数据上获得 0.573 的加权 F1 分数并排名第 - 跨语言对齐的多层对比学习
本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差 - MM使用多语言双编码 BERT 学习匹配工作候选人
使用候选人放置历史生成标记的 CV-vacancy 数据集，并使用带有 bi 编码器结构的多语言 BERT 来微调，添加余弦相似度对数损失层，从而实现简历和职位匹配络的可维护和可伸缩的管道，以及学习桥接词汇差距和处理语言障碍的多语言转换器可 - 多语言 BERT 的语言特异性和微调的影响
对多语言 BERT（mBERT）进行 fine-tuning，研究其语言特定知识和语言无关知识之间的关系。实验结果表明，fine-tuning 导致模型的表征能力重新组织，增强了语言无关表征，牺牲了语言特定表征。
- EMNLP基于多语数据选择的神经机器翻译领域通用无监督适应
本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我 - ACL跨语言文本摘要评估的有效性评估
本文旨在系统评估英语汇总评估方法在其他语言下的效力，并通过对八种不同语言的汇总语料库进行人工注释和 19 种汇总评估指标的评估，发现使用多语言 BERT 作为 BERTScore 的评估方法在所有语言下均表现出良好的效果，超过了英文水平。
- ACL单多义等级和语义划分揭示：BERT 的表现
该研究针对多语言预训练语言模型（LMs）的词汇多义性知识不清晰的问题，提出了一种新的实验方法，通过对反应词语多义性分布的数据集进行分析，控制与多义性高度相关的参数，证明 BERT-derived 的表示能够反映单词的多义水平以及它们拆分为不 - ACL使用多语言 BERT 的斯瓦希里语情感分类
该研究利用最先进的多语言 BERT 模型，对斯瓦希里语数据集进行情感分类，实现了 87.59％的最佳准确率。
- ACL深度主体性：多语言 BERT 中的高阶语法特征
本文探讨了 Multilingual BERT（mBERT）如何编码文法，并研究了不同语言编码空间之间如何表现形态句法对齐的高级文法特征，结果表明 mBERT 表示受到不在任何一个输入句子中表现的高级文法特征的影响，而语法特征通过可靠的语义 - 注意力可以反映句法结构 (如果你允许)
本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。
- ACL细看少样本跨语种迁移：Shot 数量的选择很关键
本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的 40 组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同 - COLING探索多语言 BERT 对遗传和类型信号的探测
本研究探讨了多语言 BERT (mBERT) 的分层，分析了 100 种语言的地理和亲缘关系信号，并根据 mBERT 表示计算语言距离。我们使用这些语言距离推断和评估语言树，找到它们与参考家族树的角四树距离相近；通过距离矩阵回归分析，我们发 - 用于无监督探测句法的文本表达深度聚类
本文研究使用深度聚类的方法对文本表示进行无监督学习，旨在识别语法信息并实现句法归纳。通过将这些表示联合转换为较低维度的簇友好空间并对其进行聚类，我们验证了该方法的有效性。研究发现，多语言 BERT（mBERT）包含了与英语 BERT（EBE - ACL零样本跨语言实体链接中的跨语言转移
提出了一个基于多语言 BERT 表征的神经排名体系结构，用于跨语种实体链接，发现 BERT 的跨语种能力在单语和多语环境下都具有强大的性能；此外，研究了零 - shot 语言转移，提出了辅助训练目标，缓解了部分错误，但发现剩余的错误可以更好 - EMNLPRELX 数据集与跨语言关系分类中的多语言空白匹配
通过基于多语言 BERT 的基准模型和新的多语言预训练方式，结合远程监督数据，建立两种跨语言关系分类模型，以建立知识库和为问答提供有用信息。研究引入了名为 RELX 的英语、法语、德语、西班牙语和土耳其语的跨语言关系分类基准数据集以及通过远 - 从多语言 BERT 感知单词级别翻译
本研究探讨了多语言 BERT（mBERT）的跨语言表示，并提出了两种简单的方法来暴露其卓越的翻译能力。研究结果表明，mBERT 学习表示既包含语言编码组件，又包含抽象的跨语言组件，并明确确定了一种 mBERT 表示中的经验语言识别子空间。