Nov, 2018

神经机器翻译中重要神经元的鉴定和控制

PDF
TL;DR通过发展无监督的方法来发现神经机器翻译模型中重要的神经元，我们发现了很多这样的神经元捕捉到了普遍的语言现象，并且发现翻译质量取决于这些发现的神经元。最后，我们说明如何通过修改神经元的激活来可预测地控制神经机器翻译的翻译结果。
neural machine translationlinguistic informationunsupervised methodsimportant neuronstranslation quality
发现论文，激发创造
  • 基于重要性的神经元分配在多语言神经机器翻译中的应用

    本篇研究论文提出了一种新的多语言神经机器翻译模型，将模型神经元划分为通用部分和特定语言部分，以解决当前的多语言翻译方法忽略语言特定知识的问题。实验证明，该方法对于多种语言对有很好的效果和普适性。

    Jul, 2021

  • 神经机器翻译：综述与调查

    本文追溯了现代神经机器翻译体系结构的起源，重点探讨了单个神经网络在翻译中的应用，其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例，并总结了该领域的最新趋势。

    Dec, 2019

  • 神经网络名称翻译提高神经机器翻译

    本文旨在通过引入字符级的 Seqence-to-Sequence 模型来提高神经机器翻译（NMT）系统的翻译效果和识别实体名词的能力，并在双语训练中借助名称实体翻译模型来提高高质量的实体名词对齐，从而使中英翻译任务的 BLEU 分数比基础 NMT 系统提高了 2.9 个百分点。

    Jul, 2016

  • 探索神经机器翻译与词重要性的关系

    通过基于梯度下降的方法，测量每个输入词对神经机器翻译输出的影响，从而提高神经机器翻译的可解释性。同时，揭示了语法类别对于神经机器翻译输入词的影响，为多语言翻译的设计原则提供了启示。

    Sep, 2019

  • 基于经典 SMT 视角的 NMT 训练过程：语言建模、词汇翻译、排序

    通过研究 NMT 模型训练过程中的能力表现，发现其在学习目标语言模型、逐词翻译和复杂重排序模式方面的能力表现与传统的 SMT 模型有明显差异，并探讨了这种理解对于优化 NMT 模型的实际应用。

    Sep, 2021

  • 神经元专业化：利用内在任务模块化实现多语言机器翻译

    通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

    Apr, 2024

  • 使用翻译记忆推进神经机器翻译

    本文介绍了一种将翻译记忆集成到神经机器翻译系统中的简单有效方法，并在多个数据集上获得实验性能显著优于强基线模型的结果。

    Jan, 2023

  • 多语言神经机器翻译模型是否包含特定于语言的注意力头？

    通过对 NMT 模型的多个语言对进行实验，本文发现在自我关注和编码器解码器注意头方面的注意力头是对于特定的语言对的翻译比其他更加具有特定性，可以通过指标去评估其注意力权重的一些方面，同时还可以通过评估注意力头相对于翻译质量的重要性来对其进行系统排名，并发现最重要的注意力头在各种语言对中非常相似且几乎可以删除不那么重要的注意头而不严重影响翻译质量。

    May, 2021

  • 神经机器翻译模型的语言表征能力

    本研究分析了神经机器翻译模型在不同粒度上学习到的表示，并通过相关的外围特性对其质量进行评估，结果表明深层次的 NMT 模型学习了大量的语言信息，其中鲜明的发现包括：（i）词组结构和词类等语言单元在模型较低的层次上被捕捉；（ii）而词汇语义或非局部的句法和语义依存则在较高层次上表示更好；（iii）使用字符所学习的表示比使用子词单位所学习的更具有词形信息；（iv）多语言模型所学习的表示比双语模型更加丰富。

    Nov, 2019

  • 神经机器翻译深度学习技术综述

    这份文献调查追溯了神经机器翻译的起源和主要发展时间线，探究了重要的分支，对不同的研究方向进行分类，并讨论了该领域的一些未来研究趋势。

    Feb, 2020