COLINGJun, 2018

双路网络用于序列到序列学习

PDF
TL;DR本文提出了一种名为双路径网络的编码器 - 解码器模型，通过双重信息融合实现了卷积神经网络和自注意力网络各自的优势，利用交叉注意力模块进行编码解码。实验证明，该方法能够显著提高序列到序列学习的性能。
encoder-decodersequence-to-sequenceconvolutional neural networkself attention networkdouble path networks
发现论文，激发创造
  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 快速、存储效率高的序列建模的双向块自注意力

    本文提出了一种双向块自注意力网络 (Bi-BloSAN) 来进行 RNN/CNN-free 序列编码，用于解决 RNN/CNN/SAN 的时间效率和内存开销问题，并在 NLP 任务中取得了最新水平的表现。

    Apr, 2018

  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 自注意力：情感分析神经网络分类器的更好构建块

    本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

    Dec, 2018

  • 基于自注意力网络的基于骨骼的人体动作识别

    提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。

    Dec, 2019

  • 双重注意力网络用于场景分割

    本文通过应用双重注意力网络 (DANet) 和自注意力机制来捕捉语境相关性，以实现更准确的场景分割，在 Cityscapes 数据集上取得了 81.5% 的平均 IoU 得分，并提供了相应的代码和训练模型。

    Sep, 2018

  • 双通道 RNN：适用于时域单声道语音分离的高效长序列建模

    本文提出了一种名为 DPRNN 的新型深度循环神经网络机制，它通过将输入序列分成较小的块并迭代应用区域内和区域间操作来模拟极长序列。实验结果表明，在使用 DPRNN 和在时域中应用样本级建模的 TasNet 中，相对于之前的最佳系统，使用比原来小 20 倍的模型在 WSJ0-2mix 上实现了新的最先进性能。

    Oct, 2019

  • 自注意力网络在语音识别中的连接主义时间分类

    本文提出了 SAN-CTC，是一种基于自注意力机制和 CTC 的深度神经网络，用于实现端到端的语音识别，经过评估，相比于现有的 CTC 模型和编码器 - 解码器模型，具有更好的性能。

    Jan, 2019

  • 序列学习的上下文非局部神经网络

    本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。

    Nov, 2018