用机器翻译和多语言模型来进行跨语言转移，尤其是对低资源语言进行翻译的方法比零样本跨语言转移方法要有效。通过在源语言训练数据上进行往返翻译并在目标语言测试实例上进行翻译的方法最有效。同时，通过将其他高资源语言的可靠翻译添加到训练数据中，还可以获得更多实证方面的收益。研究还提出了一种针对不受机器翻译系统支持的语言的有效的基于翻译的跨语言转移策略。最后，通过使用目标语言校验数据来进行模型选择，比使用源语言数据进行模型选择要更好。我们希望我们的研究结果能够促进在跨语言转移研究中采用更可靠的基于翻译的基准线方法。

Nov, 2023

建立一个可靠的跨语言视觉问答系统是一个具有挑战性的问题，主要原因是在训练过程中缺乏丰富的样本。为了解决这一问题，最近的研究采用了机器翻译系统进行跨语言视觉问答任务。然而，我们的分析发现翻译文本具有独特的特征，与人工编写的文本不同，被称为翻译人工痕迹。我们发现这些痕迹可以对模型产生显著影响，通过在不同的模型、语言和翻译过程上进行广泛实验证实了这一点。鉴于此，我们提出了一种简单的数据增强策略，可以缓解翻译人工痕迹的不利影响。

Jun, 2024

使用更强的机器翻译系统并减少原始文本训练和机器翻译文本推理之间的不匹配，翻译 - 测试可以比之前假定的效果更好，从而对跨语言分类的多语言模型的支配提出了质疑，并促使更多关注基于机器翻译的基准线。

May, 2023

在评估跨语言语言理解的常用基准（如 XNLI）中，通过专业翻译人员创建用于多个目标语言的英文评估集的平行版本非常重要，以确保所有目标语言的高质量翻译，以准确地进行跨语言转移的表征。本研究发现，存在翻译的不一致性，并且这些不一致性在 XNLI 中对于低资源语言具有不成比例的影响。通过在多个目标语言的人工翻译和机器翻译目标文本之间进行零 - shot 评估的性能差距来识别这种不一致性，表现出相对较大的差距即为翻译错误的指示。此外，通过对印地语和乌尔都语这两种目标语言进行人工重新注释的方式，我们证实了翻译错误的存在，并发现这些实例与其原始的英文标签之间存在较差的一致性。

Feb, 2024

该研究提出了一种基于经典的 “翻译和测试” 流程的跨语言文本分类方法，该方法将神经机器翻译器与高资源语言中的文本分类器相结合，通过端到端反向传播来进行微调，并在三个跨语言文本分类数据集上展示了显著的改进。

Jun, 2023

本研究探讨在多语言任务中同时使用源语言和目标语言翻译数据的效果，并得出使用翻译工具造成的风格化翻译差异是提高性能的主要因素。此外，我们提出了一种名为 MUSC 的跨语言微调算法，该方法结合了 SupCon 和 MixUp，可以进一步提高多语言分类任务的性能。

Oct, 2022

提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

Jul, 2021

研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会影响其性能。

Jun, 2021

通过实验证明多语言模型具有零 - shot 跨语言知识转移的能力并且在下游任务中表现出较高性能，但我们对当前评估基准和设置是否能准确衡量零 - shot 跨语言知识转移产生了质疑。本研究通过引入更具挑战性的多语言实例设置，表明多语言模型的高性能在很大程度上归因于不需要传递实际语言知识的因素，如任务和表面层知识。我们观察到跨语言传递的主要是数据工件和偏见，尤其是对于资源有限的语言。我们的发现凸显了现有跨语言测试数据和评估设置的缺点，呼吁对多语言模型的跨语言能力有更细致的理解。

Feb, 2024

通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

Mar, 2024