Dec, 2017

基于距离的自注意力网络用于自然语言推理

PDF
TL;DR本研究提出了一种基于距离的自注意力网络模型，利用简单的距离掩码考虑单词之间的距离，以便在不失去全局信息依赖的情况下建立本地依赖关系，并在 NLI 数据方面表现出良好的性能，同时长文档也有优势；而之前的基于注意力机制的模型，则没有考虑到单词之间的距离。
attention mechanismtransformerdirectional self attention networkdistance-based self-attention networknli data
发现论文，激发创造
  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017

  • 直接语言翻译中注意力的局部性

    本文讨论了自我注意力（self-attention）在直接语音翻译中的应用。通过分析编码器中自我注意力的逐层令牌贡献，发现了局部对角线模式，并提出用局部高效的自我注意力替代标准自我注意力，通过跳过标准自我注意力废弃的权重来提高模型的效率，但仍保持与基线性能相同。

    Apr, 2022

  • DA-Transformer：距离感知 Transformer

    本文提出了一种具备距离感知能力的 DA-Transformer 模型来捕捉输入 token 之间的真实距离信息，并将其用于自注意力计算中，实验证明该模型在五个基准数据集上的表现明显好于 Transformer 模型及其多个变体。

    Oct, 2020

  • 混合自注意力网络用于机器翻译

    本研究中，我们提出了一种名为 HySAN 的新型自注意力机制，它可以通过针对不同类型的自注意力网络设计特定的掩码来提取各种语义，并引入挤压门来融合不同类型的自注意力网络，在三个机器翻译任务上实现了优于 Transform 的显著基线，并实现了超越最先进的 NMT 系统的卓越结果。

    Nov, 2018

  • 多层结构化自注意力用于远程监督关系抽取

    提出了一种新颖的基于多层结构化自我关注机制的深度神经网络，在多实例学习框架下，利用双向循环神经网络进行远程监督关系抽取，该模型显著优于现有基线模型。

    Sep, 2018

  • 基于依赖感知自注意力机制的机器翻译增强

    本文研究了将句法知识纳入 Transformer 模型的不同方法，并提出一种新的、无需参数的依赖感知自注意机制，能够提高其翻译质量，特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。

    Sep, 2019

  • 动态自注意力：动态计算单词的注意力，用于句子嵌入

    本文提出了动态自注意力（DSA）机制，以改善自注意力的单词权重问题，提高句子嵌入的表现，在 Stanford 自然语言推理数据集中创造了最新的最先进结果，并在 Stanford 情感树库中取得了相似的结果。

    Aug, 2018

  • 相对位置表示的自注意力

    本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

    Mar, 2018

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 基于自注意力增强和实体感知嵌入的选择性门，用于远程监督关系抽取

    本研究提出了一种轻量级神经框架，使用实体感知的词嵌入方法、自注意机制和基于丰富语境表示的汇聚门来解决监督远程关系提取的问题和减轻之前机制的缺陷，实现了最高的分类准确性和最佳的实验结果。

    Nov, 2019