Sep, 2018

神经机器翻译中冻结子网络以分析领域自适应

PDF
TL;DR分析神经机器翻译系统的主要组件及其对领域适应性的贡献和容量，发现继续训练对性能的影响不大，并且当单个组件适应时性能惊人的好。发现继续训练不会将模型移动得非常远离域外模型，这表明域外模型可以为新域提供良好的通用初始化。
continued trainingneural machine translationdomain adaptationencoderdecoder
发现论文，激发创造
  • 预训练多语言神经机器翻译模型的鲁棒领域自适应

    本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

    Oct, 2022

  • 机器翻译领域自适应的有效性

    该论文探讨了加速最近邻机器翻译的几种方法，其中介绍了一种简单但有效的缓存策略，避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。

    Apr, 2022

  • 用于神经机器翻译领域自适应的剪枝扩张模型

    该研究介绍了一种基于神经机器翻译的重要性修剪方法，通过知识蒸馏和参数细调，解决了域自适应中的遗忘、差异和模型爆炸等问题，从而达到了在通用域和特定域翻译中都取得显著提高的目的。

    Mar, 2021

  • 神经语言模型的域自适应权衡

    探讨了语言模型适应与机器学习理论的关系，研究了大型领域外训练集和小型领域内训练集之间的训练方法的优劣，提出了领域外预训练加上领域内微调比单独应用更为通用，并提出了基于数据选择的适应技术的公共框架。

    Sep, 2021

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019

  • 神经机器翻译的领域自适应调查

    本文全面调查总结了当前最先进的神经机器翻译领域适应技术，旨在解决场景中特定领域缺乏相应语料库而导致自然语言翻译效果下降的问题。

    Jun, 2018

  • 通过词表归纳进行神经机器翻译的领域适应

    本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外 NMT 模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在 20 对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。

    Jun, 2019

  • 神经机器翻译的领域控制

    通过对多个领域进行翻译的唯一神经网络在运行时进行的域控制技术，生成的神经机器翻译模型不需要针对每个领域重新估算模型参数，为真实使用场景提供了一种有效的方法，且无论是针对任何一个领域还是针对未知域的数据翻译，本文所提出的新技术都显示了质量的提高。

    Dec, 2016

  • 神经机器翻译的快速领域适应

    本文介绍了一种适应新领域的神经机器翻译（NMT）系统，并展示了在两种语言对上，适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升，而一般领域性能仅略有下降，适应过程快速且不需要重新训练 NMT 模型。

    Dec, 2016

  • 神经机器翻译的迭代双域自适应

    本文提出一种双重迭代领域自适应框架，通过多层反向翻译知识传输来提高公共领域的翻译知识的提取效果，并通过将这种转移策略应用于多个不同相似度的领域进行了验证。该框架在中英文和英德文翻译任务中取得了令人满意的实验结果。

    Dec, 2019