ACLJun, 2022

FreeTransfer-X：来自现成模型的安全无标签跨语言转移

PDF
TL;DR通过提出一个联合利用多语言预训练语言模型以及无标注数据进行的知识转移的新型跨语言转移问题 FreeTransfer-X，并在强神经机器翻译方法上作出显著改进，该方法不仅可降低标注成本，保护隐私标签，还能够轻松部署且兼容不同的网络结构。
cross-lingual transferknowledge transfermultilingual pre-trained language modelsoff-the-shelf modelsneural machine translation
发现论文，激发创造
  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 多语言临床命名实体识别：翻译还是跨语言转移？

    本文通过比较跨语言转移、翻译方法和无数据训练的三种方法，在法语和德语的临床领域中执行医学命名实体识别，并在医学 NER 测试集上进行了广泛实验，表明翻译方法可以实现与跨语言转移相似的性能，但需要更加认真地设计。

    Jun, 2023

  • 通过基于翻译的对齐实现参数高效的跨语言视觉与语言模型转移

    本文提出一种新的参数高效的跨语言转移学习框架，利用基于翻译的对齐方法来缓解多语言差异，并探索参数高效的微调方法，经过广泛的实验表明，我们的框架显著减少了语言之间的多语言差异，并在跨语言转移方面取得了改进，尤其在低资源场景中，同时只保留和微调极少量的参数与全模型相比（例如，我们的框架对于每种语言只需要全模型的 0.16% 的额外参数，在 few-shot 学习场景下）。

    May, 2023

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 通过稀疏教师转移在资源有限情况下进行跨语言文本分类

    本文提出了一种跨语言教师 - 学生方法 (CLTS)，通过最小化跨语言资源 (即少量单词翻译)，将跨语言监督信息扩展到目标语言中，采用有限的翻译预算提取并转移最重要的任务特定的种子词，然后使用种子词初始化老师分类器，进而循环训练一个更强大的学生分类器，利用目标文本中种子词的上下文，从而解决低资源语言中新兴的任务。

    Oct, 2020

  • 零资源环境中跨语言序列标注的模型和数据传递

    本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。

    Oct, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 跨语言和渐进式迁移学习实现高效的语言模型训练

    介绍了一种名为 CLP-Transfer 的跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到一个新的目标语言，实现了资源高效的训练，同时解决了资源不足的语言之间的表现差距问题，并比单纯的跨语言传输要好。

    Jan, 2023

  • 多语言蒸馏和零样本感知训练的跨语言文本分类

    利用教师 - 学生框架从高性能的单语言模型中转移知识，构建了一个基于 MPLMs 的多语言分支模型（MBLM），并使用零射击感知的训练策略令模型从所有分支的零射击表示中学习，我们的方法仅使用任务的监督数据，提高了 MPLMs 的监督性能和零射击性能。

    Feb, 2022

  • 学习跨多种编程语言的迁移

    大型语言模型（LLMs）在提高高资源编程语言的开发者生产力方面表现出色。然而，许多低资源编程语言由于缺乏标记样本而无法受益于 LLMs，本研究通过使用源语言数据来提高目标语言的模型性能，并针对 4 个任务进行了广泛实验，以探讨交叉语言迁移学习的工作原理和最佳选择源语言的方式。

    Oct, 2023