Oct, 2020

Transformer 解码器的子层功能

PDF
TL;DR本研究通过开发一种通用的探测任务来分析 Transformer-based 解码器中的每个模块如何传递信息，并针对三个主要翻译数据集进行了广泛实验。通过分析发现，Transformer 解码器中每个模块对应的不同的源信息和目标语前缀的使用方式。同时，通过实验得出，每层解码器中的残差前馈模块可以被取消，而不影响性能，从而极大地降低了计算量和参数数量，提高了培训和推理速度
transformer-based decoderneural machine translationresidual feed-forward modulesource-language texttarget-language prefix
发现论文，激发创造
  • 神经机器翻译中编码器 - 解码器是否冗余？

    本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

    Oct, 2022

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 高效压缩子层的 Transformer 解码器

    通过压缩 Transformer 模型的 decoder 层中 sub-layers 构建模块，提出了 Compressed Attention Network，实现了更高的并行性，性能与强基线相当，速度加快 1.42 倍。

    Jan, 2021

  • GTrans: 分组融合转换器层用于神经机器翻译

    该研究提出了一种名为 Group-Transformer 的模型，通过将编码器和解码器的多层表示分组，融合这些组特征来生成目标词，实现了在多语种翻译任务中的表现优于 Transformer 的一致收益。

    Jul, 2022

  • 探索神经机器翻译中的黑匣子：Transformer 的源语言和目标语言解释

    该研究提出了一种追踪输入标记对预测结果影响的解释性方法，该方法可应用于任何编码器 - 解码器的 Transformer 模型，帮助更好地理解当前 NMT 模型的内部工作原理和行为。

    May, 2022

  • 揭示 Transformer 模型中的多语言性：探索前向网络中的语言特征

    通过分析 Transformer 中的前向模块，研究表明其可以被视为一系列键值记忆，提出了关于多语言模型中神经元对不同语言的响应不平等的假设，并通过实验证实了此假设。

    Oct, 2023

  • Transformer 需要眼镜！语言任务中的信息过度压缩

    研究信息在解码器单独的 Transformer 模型中的传播，发现了表示崩溃现象和对特定标记的敏感性丧失，并提供了简单的解决方案。

    Jun, 2024

  • 简化神经机器翻译：以无编码器模型为例

    本文探讨神经机器翻译 (NMT) 的简化与编码器自由的 NMT 模型。研究结果指出，在编码器自由的模型中，注意力机制作为强特征提取器，并且源表示不可缺少，但词嵌入在编码器自由的模型中是有竞争力的。此外，编码器自由的模型对德英和中英的对齐质量具有不同影响。

    Jul, 2019

  • 探讨语言模型架构的扩展与迁移在机器翻译中的应用

    该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器 - 解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平，并且在零翻译方向上表现得更好。

    Feb, 2022

  • 神经机器翻译的异步双向解码

    本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

    Jan, 2018