COLINGNov, 2020

层间多视角学习用于神经机器翻译

PDF
TL;DR本文提出了一种基于多视图学习和一致性正则化的方法来解决传统神经机器翻译中编码器只能根据顶层编码器层的上下文表示而不能直接感知较低编码器层的上下文表示的问题，并在五个翻译任务上进行了实验证明其有效性和稳定性，此外，该方法不依赖于网络架构。
neural machine translationencoder layermulti-view learningconsistency regularizationtranslation tasks
发现论文，激发创造
  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 神经机器翻译的多层表示融合

    本文提出多层表示融合（MLRF）方法来融合神经机器翻译系统中的堆叠层，并设计三个融合函数以从堆叠中学习更好的表示。实验结果显示，我们的方法在 IWSLT 德英和 NIST 中英机器翻译任务上分别比强 Transformer 基线提高了 0.92 和 0.56 BLEU 分数，这是新的德英翻译的最新水平。

    Feb, 2020

  • 为多语机器翻译学习特定语言层

    介绍了一种通过引入语言特定的变压器层来增加模型容量、提高翻译质量的方法，并通过神经架构搜索实现最佳层次排列，从而在不增加计算量和参数数量的情况下，提升 1.3 chrF (1.5 spBLEU) 或 1.9 chrF (2.2 spBLEU) 的翻译质量。

    May, 2023

  • 跨语言转移的潜在翻译模型

    提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

    Jul, 2021

  • 基于词级自适应逐层领域混合的多领域神经机器翻译

    本篇论文提出了使用独立词向量模块和基于词级别注意力机制的领域混合方法来实现多领域神经机器翻译的知识共享和精细化领域特定知识获取，实验结果表明该模型在多项 NMT 任务中表现优秀。

    Nov, 2019

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018

  • 基于文本到文本多视角学习的段落重新排序

    本论文提出了一种基于文本生成视角的文本 - 文本多视角学习框架，相比单视角计算，该方案提高了排名表现；同时，文章还进行了相关消融实验。

    Apr, 2021

  • 掩膜式两通道解耦框架用于不完整多视图弱多标签学习

    提出了一种基于深度神经网络的掩码两通道解耦框架，用于解决复杂而高度逼真的不完全多视角弱多标签学习任务，核心创新在于将深度多视学习方法中的单通道视图级表示解耦为共享表示和视图专有表示，并设计了交叉通道对比损失以增强两个通道的语义属性。此外，利用监督信息设计了标签引导的图正则化损失，帮助提取的嵌入特征保持样本间的几何结构，并开发了随机片段掩码策略来改善编码器的学习能力。值得强调的是，我们的模型完全适应任意视图和标签缺失，并在理想完整数据上表现良好，在充分充足的实验证明了我们模型的有效性和先进性。

    Apr, 2024

  • 想象力提高多模翻译

    本文研究了多模式翻译任务的两个子任务：学习翻译和学习视觉有关表征，并在多任务学习框架中通过注意力编码器 - 解码器和图像表征预测的方式实现。通过实验发现，这种方法在 Multi30K 数据集上比基准表现要好，即使在外部 MS COCO 数据集进行训练也同样有效，而在外部 News Commentary 平行文本训练翻译模型时进一步提高了性能。

    May, 2017

  • GTrans: 分组融合转换器层用于神经机器翻译

    该研究提出了一种名为 Group-Transformer 的模型，通过将编码器和解码器的多层表示分组，融合这些组特征来生成目标词，实现了在多语种翻译任务中的表现优于 Transformer 的一致收益。

    Jul, 2022