ICLRFeb, 2017

结构化注意力网络

PDF
TL;DR本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理，通过两种不同的结构注意力网络：线性链条件随机场和基于图形的解析模型的实验，展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。
attention networksgraphical modelsstructured attention networksconditional random fieldgraph-based parsing model
发现论文，激发创造
  • 非监督对话结构归纳的结构化注意力

    本论文通过在变分循环神经网络模型中引入结构化注意力层，以无监督学习的方式学习对话结构，并对多方对话数据集进行了实验，展示了模型区分发言人或地址、自动脱钩对话的能力。

    Sep, 2020

  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 用于改进情感分析的结构化注意力神经网络

    本文提出了一种基于树形结构的注意力神经网络模型，用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时，利用结构注意力识别最显著的表示。实验结果表明，该模型在斯坦福情感树库数据集上实现了最先进的性能表现。

    Jan, 2017

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 基于语义 - 结构注意力增强的图卷积网络的节点分类

    通过引入语义 - 结构注意力增强图卷积网络（SSA-GCN），本研究在提取顶点分类性能方面不仅对图结构进行建模，还从无监督特征提取的角度提取通用特征，通过交叉注意力机制整合这些特征，以增强图卷积网络的泛化能力。在 Cora 和 CiteSeer 数据集上的实验证明了我们提出的方法所取得的性能提升，而且在隐私设置下表现出优异的准确性，使其成为图数据分析的坚实有效解决方案。

    Mar, 2024

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 基于注意力机制的图神经网络半监督学习

    本文提出一种使用注意力机制的图神经网络，通过去除中间的全连接层，并结合图结构实现对邻域的动态自适应的总结，从而达到降低参数数量，提高半监督学习效果的目的。

    Mar, 2018

  • 基于注意力机制的异构结构学习图神经网络

    本文针对异构信息网络（HIN）的图表示学习进行了研究，并提出了一种新颖的基于异构图结构注意力神经网络（HetSANN）的方法，该方法在不需要领域专家设计元路径方案的情况下能够自动处理异构信息。实验证明，该方法相较于现有的 HIN 嵌入模型有显著和一致的提升。

    Dec, 2019

  • 单纯注意力网络

    本研究提出了一种新型的 Simplicial Attention Networks (SAT) 以及一种签名注意机制，旨在解决目前 Simplicial Neural Networks (SNNs) 在计算效率和适应新结构方面的缺陷，并在图像和轨迹分类任务中表现优异。

    Apr, 2022