ACLOct, 2022

多领域神经机器翻译的领域特定子网络

PDF
TL;DR本文提出了领域专属子网（DoSS）方法，利用剪枝技术得到一组掩码，为每个领域定义一个子网络并在领域数据上微调子网络参数，使其性能接近且参数数量大大减少。同时提出了一种使掩码在每个领域中唯一的方法，大大提高了到未知领域的泛化能力。在德语至英语机器翻译实验中，DoSS 方法的表现优于多个领域（医学、技术和宗教）数据的继续训练的强基线方法 1.47 BLEU 点。而在新领域（法律）上继续训练 DoSS，其表现则比多个领域（医学、技术、宗教、法律）数据的基线方法高出 1.52 BLEU 点。
domain-specific sub-networkpruningparameter reductionmachine translationgeneralization
发现论文，激发创造
  • 为多语言机器翻译学习特定语言子网络

    本文提出了 LaSS 方法，采用 LaSS 解决了共同训练多个语言对的性能退化问题，LaSS 利用自己的语言特定子网络为每个语言对学习。在各种变压器体系结构的 IWSLT 和 WMT 数据集上展开全面的实验后发现，LaSS 在 36 种语言对上最多获得 1.2BLEU 的增益，并且在易于扩展到新语言对和零炮击翻译方面表现出强大的泛化性能。LaSS 通过一个 30 种语言对平均为 8.3 BLEU 的零炮击翻译推动性。

    May, 2021

  • 神经机器翻译的领域差异适应

    本文介绍了『Domain Differential Adaptation（DDA）』的框架，该框架通过使用相关任务中的模型直接建模不同领域之间的差异，从而成功地应用于神经机器翻译的领域自适应中，并在多个实验设置中实现比其他替代方法更好的改进效果。

    Oct, 2019

  • 多领域神经机器翻译

    本文提出了一种神经机器翻译方法，通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统，从而实现在单个模型中支持多个领域，我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性，发现预先指定领域是必须的，但即使未知也可以达到相当高的翻译质量。

    May, 2018

  • 从整体到特定：基于领域转换网络的多领域翻译

    本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法，解决多领域翻译中通用和特定知识的统一建模问题，并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。

    Nov, 2019

  • 神经机器翻译的领域控制

    通过对多个领域进行翻译的唯一神经网络在运行时进行的域控制技术，生成的神经机器翻译模型不需要针对每个领域重新估算模型参数，为真实使用场景提供了一种有效的方法，且无论是针对任何一个领域还是针对未知域的数据翻译，本文所提出的新技术都显示了质量的提高。

    Dec, 2016

  • 多域多语言神经机器翻译中，能否跨语言进行域传递？

    本文讨论了如何在多领域和多语言神经机器翻译 (MDML-NMT) 中跨语言传输领域信息，以提高零样本翻译性能和帮助域缺失的多领域 NMT 的泛化。通过组合多语言和多领域 NMT 及添加编码器目标语言标签等有效策略，实现了学习到有针对性的表示和提高性能的目的。

    Oct, 2022

  • 基于阶段训练的无标签多领域机器翻译

    本篇论文提出一种无需领域注释数据的多领域机器翻译模型，包括骨干模型、领域鉴别器和一组专家。通过阶段式训练策略并结合聚类和多分类任务建模领域差异以及采用 Gumbel-Max 采样进行专家训练，该模型在德语到英语翻译任务中取得了较好的效果。

    May, 2023

  • 多领域神经网络语言生成器用于口语对话系统

    本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。

    Mar, 2016

  • 针对机器翻译的领域特定文本生成

    本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法，通过该方法，配合回译技术，可生成大量合成双语的领域内数据，从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。

    Aug, 2022

  • 具有语言特定子网络的数据有效跨语言转移

    本文提出了一种在多语言模型中使用语言特定的子网络的新方法，以控制跨语言参数共享，减少冲突，并在微调过程中增加正向迁移能力，结合元学习技术进行优化，通过广泛的分析验证了方法对模型的影响。

    Oct, 2022