- 斯洛文尼亚语统一问答
本研究旨在将成功的英语问答方法 UnifiedQA 适应于资源较少的斯洛文尼亚语，使用编码器 - 解码器变压器 SloT5 和 mT5 模型，处理四种问答格式，并证明一般模型至少可以和专业模型一样回答不同格式的问题。同时，通过跨语言转移从英 - 多语言使用对语言模型的道德偏见产生影响
本文探讨了预训练的多语言语言模型是否会从英语中捕捉道德规范，并将其强加在其他语言中，以及它们是否在某些语言中表现出随机且潜在有害的信念。研究还在多语言模型上应用了 MoralDirection 框架，分析了在过滤的平行字幕语料库上的模型行为 - 跨语言转移学习在推特上识别值得检查的声明
本文研究如何使用现有数据集训练 Twitter 消息的不同语言的验证价值模型。通过使用多语言 BERT 模型，我们系统地比较了六种方法。结果表明，对于一些语言对，零 - shot 跨语言转移是可能的，并且可以与在目标语言上训练的单语模型一样 - EMNLP零资源环境中跨语言序列标注的模型和数据传递
本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。
- COLING一种简单而有效的方法来提高零样本跨语言迁移学习
本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot - ACL利用期望统计规则改进低资源跨语言解析
本研究提出了一种新颖的基于期望的统计正则化技术 (ESR)，利用低阶的多任务结构统计来塑造模型分布，适用于在低资源数据集上做半监督学习。我们将 ESR 应用到跨语言转移学习中，对句法分析 (POS 标记和带标签依存分析) 进行研究，并提出了 - 多语言神经机器翻译的语言家族适配器
本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。
- ACL元学习跨语言语义解析流形
通过元学习算法，利用高语种数据进行训练，在少量带注释的新语言数据上，我们的跨语言语义分析器可以达到较高的准确性和极少的数据采样。
- AAAI提升视觉问答中的跨语言泛化能力
本研究探讨了多语言视觉语言模型在跨语言环境中表现欠佳的情况，并提出了三种策略以提高它们在零 - shot 跨语言视觉问答任务中的性能。实验证明，该 Fine-tuning 策略取得了一致的效果。
- 多语言编码器如何学习跨语言表示？
本文主要研究 NLP 系统中的多语言支持，其中提到 Multilingual BERT 作为一个可应用于 104 种语言的替代方案，通过分析 Multilingual BERT 的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和 - 跨语言声学 - 语音相似度对多语种语音识别的影响研究
本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性，通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式，并通过熵分析发现少重叠语音的语言更易于跨语言传输，在融合单语言模型方面取得了相对于单语言识别的 - ACLFreeTransfer-X：来自现成模型的安全无标签跨语言转移
通过提出一个联合利用多语言预训练语言模型以及无标注数据进行的知识转移的新型跨语言转移问题 FreeTransfer-X，并在强神经机器翻译方法上作出显著改进，该方法不仅可降低标注成本，保护隐私标签，还能够轻松部署且兼容不同的网络结构。
- 构建无监督双语词嵌入前别忘了使用低成本训练信号
本文讨论了 Bilingual Word Embeddings（BWEs）的 build 方法，并提出了两种有效的 unsupervised 方法：使用相同的单词作为种子词典和使用 Romanized 单词匹配。实验结果表明这些方法在远程语 - 跨语言结构化情感分析的知识增强对抗模型
本文提出了一个基于知识增强的对抗模型（KEAM），采用对抗性的嵌入适配器来提高跨语言传输效果，并采用句法 GCN 编码器以传输显式的语义，并在五个数据集上进行实验，结果显示 KEAM 模型在多个指标上优于传统的无监督方法。
- EMNLP多语言语言模型的单 / 跨语言预训练动态分析
本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。
- ACLMulti2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练
本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话 PrLM 的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对 - ACL一种平衡数据方法用于评估跨语言转移：语言血库的映射
本文研究表明：BERT 模型的预训练语言的选择影响跨语言转移，基于平衡数据的零 - shot 性能检验表明，改善下游表现的预训练语言被称为捐赠者，而在零 - shot 性能方面得到改善的语言则被称为接受者。我们提出了一种具有二次时间复杂度的 - ICLR使用流形混合增强跨语言传递
通过跨语言流域混合的 X-Mixup 方法，根据大规模的预训练的多语言表示，以解决不同语言之间表示差异的问题并提高多个文本理解任务的表现
- EMNLP语言污染现象解释英语预训练模型的跨语言能力
本文研究预训练语言模型在跨语言转移方面的表现，发现常见的英文预训练集中包含大量非英文文本，即使数量仅占不到 1%，也会导致大规模数据集中有数亿个外语词汇。作者还展示了即使是这些少量的非英文数据，也能够促进模型在目标语言上的跨语言转移，并且目 - 跨语言调整上下文词表示对零 - shot 迁移的影响
本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。