本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集,包括 XNLI 测试和开发集,以改进原始 XNLI 数据集,并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理,同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言(如斯瓦希里和乌尔都语)中提高性能的可能性。
Jan, 2023
本研究通过将英语 XNLI 语料库机器翻译成巴斯克语,然后进行人工后期处理的步骤来扩展 XNLI,从而对巴斯克语进行低资源跨语言自然语言理解进行评估,结果表明后期处理是必要的,翻译 - 训练跨语言策略在总体上获得更好的结果。
Apr, 2024
本文介绍了 IndicXNLI,一个 NLI 数据集,用于 11 种印度语言的跨语言转移技术的分析,研究了不同的预训练模型、语言、多语言和混合语言输入等因素对预训练模型的行为的影响。
Apr, 2022
本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式, 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。
Jan, 2019
研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力,并基于 17 个中文挑战任务对其性能进行测试。研究发现,跨语言模型在训练时使用英语和高质量的单语 NLI 数据(OCNLI)通常表现最好,而自动翻译资源则会影响其性能。
Jun, 2021
探索是否可以在未见过的语言上进行高级语义任务的零 - shot 学习。通过 AmericasNLI,测试了零 - shot 和翻译法等多种方法,结果发现 XLM-R 的零 - shot 表现很差,但通过持续预训练和对假设模型的考虑,有所提高。意外的是,用翻译不好的数据训练的表现最好。
Apr, 2021
本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战,提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。
Aug, 2022
本文提出将 SNLI 风格自然语言推断的研究推向多语言评估,为阿拉伯语,法语,西班牙语和俄语提供测试数据,并使用跨语言词嵌入和机器翻译构建基线系统,最终系统的平均准确率超过了 75%,并着重实现了多语言推断的进一步研究。
Apr, 2017
本文研究跨语言理解中的半监督学习,通过结合最先进的跨语言方法和弱监督学习方法,同时解决语言和领域差异,实现了对跨语言文档分类中的新的领先水平。
Sep, 2019
在评估跨语言语言理解的常用基准(如 XNLI)中,通过专业翻译人员创建用于多个目标语言的英文评估集的平行版本非常重要,以确保所有目标语言的高质量翻译,以准确地进行跨语言转移的表征。本研究发现,存在翻译的不一致性,并且这些不一致性在 XNLI 中对于低资源语言具有不成比例的影响。通过在多个目标语言的人工翻译和机器翻译目标文本之间进行零 - shot 评估的性能差距来识别这种不一致性,表现出相对较大的差距即为翻译错误的指示。此外,通过对印地语和乌尔都语这两种目标语言进行人工重新注释的方式,我们证实了翻译错误的存在,并发现这些实例与其原始的英文标签之间存在较差的一致性。
Feb, 2024