ACLJun, 2023

T3L：跨语言文本分类的翻译测试迁移学习

PDF
TL;DR该研究提出了一种基于经典的 “翻译和测试” 流程的跨语言文本分类方法，该方法将神经机器翻译器与高资源语言中的文本分类器相结合，通过端到端反向传播来进行微调，并在三个跨语言文本分类数据集上展示了显著的改进。
cross-lingual text classificationneural machine translatortext classifierfine-tuningmultilingual language models
发现论文，激发创造
  • 跨语种分类中机器翻译的再次研究

    使用更强的机器翻译系统并减少原始文本训练和机器翻译文本推理之间的不匹配，翻译 - 测试可以比之前假定的效果更好，从而对跨语言分类的多语言模型的支配提出了质疑，并促使更多关注基于机器翻译的基准线。

    May, 2023

  • 跨语言转移的潜在翻译模型

    提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

    Jul, 2021

  • 利用机器翻译增强多语言分类

    利用机器翻译来调整多语言模型以进行分类任务在多种语言之间产生一定的效果，并且通过一种新颖的技术可以改善模型对翻译数据的负面影响。

    May, 2024

  • 跨语言迁移学习中的翻译误差

    研究报告发现人工和机器翻译在跨语言学习中的影响，翻译过程会引入细微的错误，影响到跨语言模型的准确性。在此基础上，对 XNLI 测试和零样本学习进行改进，取得了 4.3 和 2.8 个百分点的提升。

    Apr, 2020

  • 通过稀疏教师转移在资源有限情况下进行跨语言文本分类

    本文提出了一种跨语言教师 - 学生方法 (CLTS)，通过最小化跨语言资源 (即少量单词翻译)，将跨语言监督信息扩展到目标语言中，采用有限的翻译预算提取并转移最重要的任务特定的种子词，然后使用种子词初始化老师分类器，进而循环训练一个更强大的学生分类器，利用目标文本中种子词的上下文，从而解决低资源语言中新兴的任务。

    Oct, 2020

  • 通用跨语言文本分类

    通过优化现有标签 / 数据集，将不同语言的标签数据与训练相结合，以创建一个通用模型，从而增强标签和语言范围，实现跨语言的文本分类。

    Jun, 2024

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 是否翻译：对基于翻译的跨语言转移到低资源语言的系统调查

    用机器翻译和多语言模型来进行跨语言转移，尤其是对低资源语言进行翻译的方法比零样本跨语言转移方法要有效。通过在源语言训练数据上进行往返翻译并在目标语言测试实例上进行翻译的方法最有效。同时，通过将其他高资源语言的可靠翻译添加到训练数据中，还可以获得更多实证方面的收益。研究还提出了一种针对不受机器翻译系统支持的语言的有效的基于翻译的跨语言转移策略。最后，通过使用目标语言校验数据来进行模型选择，比使用源语言数据进行模型选择要更好。我们希望我们的研究结果能够促进在跨语言转移研究中采用更可靠的基于翻译的基准线方法。

    Nov, 2023

  • 文本分类的跨语言蒸馏

    本研究提出了一个基于模型蒸馏的跨语言文本分类新方法，使用软概率预测作为并行语料库中标签丰富语言中的监督标签，成功地对目标语言训练分类器，并应用对抗式特征适应技术以减少分布不匹配现象，实验证明该方法具有优越的性能。

    May, 2017