多语言任务训练和推断中的翻译工件协同

EMNLPOct, 2022

多语言任务训练和推断中的翻译工件协同

Synergy with Translation Artifacts for Training and Inference in Multilingual Tasks

Jaehoon Oh, Jongwoo Ko, Se-Young Yun

TL;DR本研究探讨在多语言任务中同时使用源语言和目标语言翻译数据的效果，并得出使用翻译工具造成的风格化翻译差异是提高性能的主要因素。此外，我们提出了一种名为 MUSC 的跨语言微调算法，该方法结合了 SupCon 和 MixUp，可以进一步提高多语言分类任务的性能。

Abstract

translation has played a crucial role in improving the performance on multilingual tasks: (1) to generate the target language data from the source language data for training and (2) to generate the source languag

translation multilingual tasks sentence classification supcon mixup

发现论文，激发创造

跨语言迁移学习中的翻译误差

研究报告发现人工和机器翻译在跨语言学习中的影响，翻译过程会引入细微的错误，影响到跨语言模型的准确性。在此基础上，对 XNLI 测试和零样本学习进行改进，取得了 4.3 和 2.8 个百分点的提升。

Apr, 2020

利用机器翻译增强多语言分类

利用机器翻译来调整多语言模型以进行分类任务在多种语言之间产生一定的效果，并且通过一种新颖的技术可以改善模型对翻译数据的负面影响。

May, 2024

探索有监督学习和自监督学习之间的协同作用：迈向多语言机器翻译的下一个 1000 种语言

通过混合监督和自我监督目标的方法，实现了覆盖数百种语言的多语言机器翻译模型的构建，该方法可在零资源情况下生成高质量翻译，甚至超过低 - 中资源语言的监督翻译质量。

Jan, 2022

改进的翻译建议数据增强

介绍了我们在 WMT'22 翻译建议共享任务中提交的系统，该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。

Oct, 2022

跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

Mar, 2024

融合人工和机器翻译的多语言语义解析与主动学习

该文提出了一种主动学习方法，将小批量的人工翻译添加到机器翻译的训练集中，利用人工和机器翻译的优点，并提出了新颖的聚合获取准则来帮助方法选择要手动翻译的话语，实验证明这种理想话语的选择能显著降低翻译数据中的误差和偏见，从而比仅在机器翻译数据上训练的解析器具有更高的精度。

May, 2023

利用合成目标进行机器翻译

使用大型预训练模型生成合成目标数据可以提高限定资源环境下机器翻译模型的性能，这种方法可以优于在实际数据上训练模型，效果更好的原因可以归因于模型参数的数量限制和优化效果的提高。

May, 2023

利用目标词元注释促进术语翻译

该研究提出了一种源数据增强的机器翻译系统，用于术语集成，实验表明该方法在术语翻译时具有实用性和较高的准确性。

Jan, 2021

跨语言转移的潜在翻译模型

提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

Jul, 2021

跨语言迁移学习中平行数据的作用

本文研究并比较了使用无监督机器翻译生成的合成平行数据与有监督机器翻译和现有规范平行数据的效果；使用这些数据解决一些下游任务的表现。作者发现，即使是模型生成的平行数据也可以在继续预训练和具体任务训练方面对下游任务有所帮助，但目前最佳结果仍然来自于真实的平行数据。该研究提示人们重新考虑跨语种学习方法的传统分类，并可以更大程度地利用单语数据进行多语言建模。

Dec, 2022