AAAINov, 2018

序列学习的上下文非局部神经网络

PDF
TL;DR本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。
发现论文，激发创造
  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • 上下文感知自注意力网络

    通过上下文信息来提高自注意力网络有效性的研究表明，利用内部嵌入全局和深度上下文的方式来上下文化查询和键层变换可以提高翻译任务的性能.

    Feb, 2019

  • 基于上下文的图注意力网络在具有物品知识图的推荐中的应用

    该研究提出了一种名为 CGAT 的新型推荐框架，可以明确地利用实体在知识图中的本地和非本地图上下文信息，以实现个性化的推荐，这可以通过一种偏向性随机游走采样过程来提取实体的非本地上下文，并利用 RNN 来模拟实体和其非本地上下文实体之间的依赖关系

    Apr, 2020

  • 具多层上下文的带注意力机制的 RNN 用于场景标注

    探索多级上下文循环神经网络的多种上下文提示，将其结合到分级卷积神经网络中，提供丰富的空间和语义信息，并使用注意力模型来有效地合并多个级别，以实现在图像标签方面的最新结果。

    Jul, 2016

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • LatentGNN：学习高效非局部关系以用于视觉识别

    该研究提出了一种基于图神经网络和潜在空间的方法，以降低图的复杂度从而实现对视觉特征的非局部关联表示，并在三项主要的视觉识别任务上展示了其具有较高的性能和较低的计算成本。

    May, 2019

  • 门控图神经网络实现的图到序列学习

    提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

    Jun, 2018

  • 基于潜在神经语法的序列到序列学习

    本研究使用状态转移机器学习估计序列之间的译码方法，通过探索序列到序列学习的等效问题，其考虑到一种基于准同步文法的层次序列到序列方法，在各种应用中达到了合理的性能。

    Sep, 2021

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 密集连接图卷积网络用于图到序列学习

    本研究通过图卷积网络（GCN）对图进行编码，引入了一种新的密集连接策略，提出了一种新型的密集连通图卷积网络（DCGCN）来集成本地和非本地特征，以更好地学习图的结构表示，并在 AMR-to-text 生成和基于语法的神经机器翻译上明显优于现有的神经模型。

    Aug, 2019