ACLSep, 2023

自我增强提高零 - shot 跨语言迁移

PDF
TL;DR提出一种称为 SALT 的简单而有效的方法，结合了代码混合和嵌入混合自增强，通过从多语言预训练语言模型中提取跨语言知识并增强其在下游任务中的可转移性，改进了零射击跨语言转移能力，而无需外部数据。
zero-shot cross-lingual transfermultilingual nlpsalt methodpretrained language modelscode-switching
发现论文，激发创造
  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • CrossAligner & Co: 面向任务的跨语言自然语言理解的零 - shot 传递方法

    CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。

    Mar, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • MALM：混合增强语言建模实现零 - shot 机器翻译

    本研究表明，在零样本机器翻译中，基于输入提示的大型模型不会出现离题语言错误，实验证明自监督预训练和数据增强对于零样本多语言机器翻译的效果显著。

    Oct, 2022

  • 基于跨语言预训练的零 - shot 神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

    Dec, 2019

  • 一种简单而有效的方法来提高零样本跨语言迁移学习

    本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

    Oct, 2022

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 零资源环境中跨语言序列标注的模型和数据传递

    本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。

    Oct, 2022

  • 自动语音翻译的跨语言转移学习改进

    本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

    Jun, 2023

  • 元学习实现零样本跨语言迁移

    研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

    Mar, 2020