EMNLPSep, 2020

神经机器翻译的代码切换预训练

PDF
TL;DR提出了一种新的预训练方法 Code-Switching Pre-training（CSP），它通过利用源语言和目标语言之间的跨语言对齐信息来预先训练神经机器翻译模型，该方法通过无监督的词嵌入映射词典识别源语言和目标语言之间的单词替换，克服了传统模型的随机屏蔽单词的缺点。实验结果表明，该方法在无监督和有监督的机器翻译任务上都取得了显著提高。
code-switching pre-trainingneural machine translationcross-lingual alignmentlexicon inductionpretrain-finetune discrepancy
发现论文，激发创造
  • 使用代码转换增强预设翻译的神经机器翻译

    研究一种使用代码转换从而生成的训练数据的数据增强方法来限制大众翻译机器在本地词汇翻译方面的失误问题。

    Apr, 2019

  • 以词义进行编码切换的神经网络机器翻译预训练

    我们介绍了一种使用知识库中词义特定信息进行预训练的多语言神经机器翻译模型的端到端方法，通过实验证明了我们方法在整体翻译质量上有显著改进，并且在 DiBiMT 消歧测试中显示出了精确性改进的鲁棒性。

    Oct, 2023

  • 启用代码交替机器翻译的检查和策略

    本研究探讨了多语言神经机器翻译模型处理语种混杂文本的能力，提出了一种检测方法和简单有效的数据增强方法，同时通过对注意力模块的分析证明了这些方法的有效性。

    Oct, 2022

  • 显式跨语言预训练用于无监督机器翻译

    本文提出了一种新的跨语言预训练方法，通过融合显式的跨语言训练信号，从交叉语境中获取受益的跨语言信息并使用 CMLM 预训练模型大幅提高了无监督机器翻译的性能.

    Aug, 2019

  • 基于 Switch Point 的自我训练：重复利用预训练模型用于代码交替

    该论文探讨了码络转换问题，着重分析了多语种模型的性能问题和缺乏已注释数据的问题， 并通过自我训练方法，提出了在利用无标注数据的情况下利用预训练模型解决这些问题的方法。

    Nov, 2021

  • 从机器翻译到代码转换：生成高质量的混合语言文本

    本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

    Jul, 2021

  • 零样本跨语言意图预测和槽填充的多语言码交换

    本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

    Mar, 2021

  • 混码探针展示预训练模型如何在混码文本上泛化

    本研究通过对预训练语言模型处理混合语言文本的能力、模型捕捉混合语言文本的结构信息的变化性以及语义信息表达的一致性的研究，揭示了预训练语言模型在泛化到混合语言文本上的有效性，从而为这些模型在处理混合语言资源方面的能力提供了洞察。

    Mar, 2024

  • 基于多任务预训练和迁移学习的简单而有效的语言代码切换识别

    本文研究如何使用深度学习方法提高混合语言识别的准确性，提出了包括使用 Residual CNN+GRU 模型，以及使用自动语音识别（ASR）作为辅助任务的多任务预训练方法等两种有效方法，并且通过使用单语语料库以及数据上采样等方法来创造真正的混合语言数据集，最终实验结果显示，本文提出的模型在英汉混合语言语音识别准确度上超过了之前的基准模型约 55.3%。

    May, 2023

  • 通过渐进式代码切换改善零样本跨语言迁移

    逐渐生成适度困难的混合码交换示例，以引导模型对更困难的混合码交换数据进行优化，并根据单词相关性评分设计了难度测量器、代码切换器和训练调度器。

    Jun, 2024