ACLJun, 2019

自注意力网络学习单词顺序的能力评估

PDF
TL;DR本文探讨了自注意力机制（SAN）在序列建模中缺乏位置信息的问题，并通过一项新的单词重新排序检测任务分别检测了 SAN 和循环神经网络（RNN）的单词位置学习情况，实验结果表明，虽然缺乏循环结构，但在机器翻译中，SAN 通过学习单词位置的方式更为高效。
self-attention networksposition informationword reorderingmachine translationrecurrent neural networks
发现论文，激发创造
  • 带有结构位置表示的自注意力机制

    本文提出将依赖树结构位置表示与传统的序列位置编码相结合，以更好地模拟输入句子的潜在结构，在中文到英文和英文到德语的翻译任务中，分别针对绝对和相对位置编码方式，实验证明提出的方法能够稳定提高自我注意力网络在各种自然语言处理任务上的表现。

    Sep, 2019

  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 自注意力：情感分析神经网络分类器的更好构建块

    本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

    Dec, 2018

  • 快速、存储效率高的序列建模的双向块自注意力

    本文提出了一种双向块自注意力网络 (Bi-BloSAN) 来进行 RNN/CNN-free 序列编码，用于解决 RNN/CNN/SAN 的时间效率和内存开销问题，并在 NLP 任务中取得了最新水平的表现。

    Apr, 2018

  • 跨语言位置表示的自注意力

    本文使用跨语言位置表示法，将自注意力网络中的位置编码扩展为双语感知潜在结构，利用括号转换语法（BTG）基于重排序信息，以鼓励自注意力网络学习双语对角线对齐，并通过 WMT'14 英语⇒德语，WAT'17 日语⇒英语，WMT'17 中英互译任务的实验结果验证，显著且一致地改善了翻译质量。

    Apr, 2020

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 自我关注网络在中文分词中的应用研究

    研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

    Jul, 2019

  • 选择性机制如何提高自注意力网络？

    本文通过评估实现灵活通用的 Gumbel-Softmax 的选择性自注意力网络（SSANs）的性能，在多个代表性 NLP 任务中，包括自然语言推理、语义角色标注和机器翻译，实验结果显示，SSANs 一致优于标准 SANs 并通过良好设计的探针实验证明，其改进性在一定程度上归因于缓解 SANs 的两个常见缺点：词序编码和结构建模，具体而言，选择机制通过更多地关注对句子含义有贡献的内容单词，提高了 SANs 的性能。

    May, 2020

  • 自注意力网络的特征重要性估计

    本文旨在探索利用基于注意力机制的神经网络对特征进行重要性排序以用于模型解释的方法，通过对十个数据集进行规模无关的特征重要性估计算法比较的研究，展示了利用自注意力网络（SAN）对特征进行排序与其他方法在高级别特征识别上的相似性，以及在某些情况下，SAN 对特征交互性的识别比现有基线方法更具优势。

    Feb, 2020