ICLRDec, 2020

了解和改善序列到序列学习中编码器层融合

PDF
TL;DR本研究提出了一种新的 EncoderFusion 方法，即 SurfaceFusion，它将编码器嵌入层与 Softmax 层融合，实验证明其在多种 NLP 任务中表现出色，特别是在 WMT16 Romanian-English 和 WMT14 English-French 机器翻译任务中表现最佳，取得了最新的性能记录。
encoderfusionsequence-to-sequence modelsnlp tasksencoder embedding layersurfacefusion
发现论文，激发创造
  • 层次表示融合的组合性泛化

    通过引入 fuse-attention 模块，提出了一种扩展的序列到序列模型（ extsc {FuSion}），以适当地将上一层的信息融合回编码和解码过程中，有效地解决了表示缠结问题，并在两个实际基准测试上取得了竞争性甚至最先进的结果，从而验证了我们的提议的有效性。

    Jul, 2023

  • 基于 Transformer 的多编码器学习和流融合的端到端自动语音识别

    通过研究多种融合技术和多编码器学习方法，以实现对变压器架构的最佳融合，仅在训练期间对两个编码器 - 解码器组合的多头注意权重输出进行加权组合，在推理时使用幅度特征编码器，成功地在 WSJ 上展示了一致的改进，并通过简单的后期融合在 WSJ 上取得了状态 - of-the-art 的表现。

    Mar, 2021

  • 神经机器翻译的多层表示融合

    本文提出多层表示融合（MLRF）方法来融合神经机器翻译系统中的堆叠层，并设计三个融合函数以从堆叠中学习更好的表示。实验结果显示，我们的方法在 IWSLT 德英和 NIST 中英机器翻译任务上分别比强 Transformer 基线提高了 0.92 和 0.56 BLEU 分数，这是新的德英翻译的最新水平。

    Feb, 2020

  • GTrans: 分组融合转换器层用于神经机器翻译

    该研究提出了一种名为 Group-Transformer 的模型，通过将编码器和解码器的多层表示分组，融合这些组特征来生成目标词，实现了在多语种翻译任务中的表现优于 Transformer 的一致收益。

    Jul, 2022

  • 融合编码器网络

    本文介绍了融合编码器网络（FENs）：一类用于创建将定长序列映射到输出的神经网络的算法。该神经网络具有对数深度（减轻数据通过网络传播时的退化），可在线性时间内处理序列（或在线性处理器数量下的对数时间）。FENs 的关键属性是它们通过并行训练近线性数量的常深度神经网络来进行学习。目前尚未实现 FENs，其性能仅为推测。

    Feb, 2024

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 使用编码 LSTM 利用句子级信息进行语义槽填充

    该论文提出了一种名为 Encoder-Labeler LSTM 的序列标注增强方法，通过对标签依赖性和整个输入序列信息的显式建模，较传统方法在自然语言理解中的 Slot Filling 任务中的表现有了显著的提高。

    Jan, 2016

  • 编码增强的序列到序列预训练模型用于语言理解与生成

    本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

    May, 2022

  • 将句子嵌入融合到基于 LSTM 的自回归语言模型中

    本研究提出了一种基于 LSTM 的自回归语言模型，使用预训练的掩码语言模型的前缀嵌入（通过融合，例如串联）来获得更丰富的上下文表示来进行语言建模，发现融合有助于可靠地降低复杂度，最后还讨论了这种方法在其他领域的推广。

    Aug, 2022

  • 使用 Transformer 融合句子进行摘要学习

    本文探讨了利用 Transformers 中的点对点对应关系增强句子融合能力的算法，通过大量实验发现，建模句子之间的对应点对于有效的句子融合至关重要。

    Oct, 2020