ICLRApr, 2018

快速、存储效率高的序列建模的双向块自注意力

PDF
TL;DR本文提出了一种双向块自注意力网络 (Bi-BloSAN) 来进行 RNN/CNN-free 序列编码，用于解决 RNN/CNN/SAN 的时间效率和内存开销问题，并在 NLP 任务中取得了最新水平的表现。
recurrent neural networksconvolutional neural networksself-attention networksbi-directional block self-attention networknlp tasks
发现论文，激发创造
  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 自注意力：情感分析神经网络分类器的更好构建块

    本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

    Dec, 2018

  • 自我关注网络在中文分词中的应用研究

    研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

    Jul, 2019

  • 双路网络用于序列到序列学习

    本文提出了一种名为双路径网络的编码器 - 解码器模型，通过双重信息融合实现了卷积神经网络和自注意力网络各自的优势，利用交叉注意力模块进行编码解码。实验证明，该方法能够显著提高序列到序列学习的性能。

    Jun, 2018

  • 自注意力网络学习单词顺序的能力评估

    本文探讨了自注意力机制（SAN）在序列建模中缺乏位置信息的问题，并通过一项新的单词重新排序检测任务分别检测了 SAN 和循环神经网络（RNN）的单词位置学习情况，实验结果表明，虽然缺乏循环结构，但在机器翻译中，SAN 通过学习单词位置的方式更为高效。

    Jun, 2019

  • 基于自注意力网络的基于骨骼的人体动作识别

    提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。

    Dec, 2019

  • 用于长文本建模的循环注意力网络

    本文提出了一种新型深度学习神经网络 RAN，采用自注意力机制和递归结构相结合的方法，实现了在长文本处理中的可重复性操作，对文本进行建模提取全局语义信息，并能兼容顺序和分类任务。实验结果表明，RAN 模型具有出色的编码能力，适用于长文本语义的自动提取和处理。

    Jun, 2023

  • 轻量级自注意力序列推荐

    该论文介绍了一种新型轻量级自注意网络 LSAN，通过组成嵌入将原始嵌入矩阵进行压缩并提出了时态上下文感知的嵌入组合方案以解决目前序列推荐中所存在的大量参数嵌入矩阵对资源受限环境的开销过大的问题，并拥有更强的性能表现。

    Aug, 2021

  • 基于 Transformer 的端到端语音识别中简化的自注意力机制

    本文提出了一种简化的自我注意力（SSAN）层，用于 Transformer 模型的端到端语音识别任务中，以降低模型复杂度和维护良好性能，并在公共 AISHELL-1、内部 1000 小时和 20000 小时大规模普通话任务上评估了 SSAN 基于 Transformer 模型与传统基于自我注意力的模型。结果表明，我们的提出的 SSAN-based transformer 模型在模型参数上可以实现超过 20% 相对减少，在 AISHELL-1 任务上实现了 6.7% 相对语音识别误差率的降低，而且在 20000 小时的大规模任务中，模型失去识别性能。

    May, 2020