Dec, 2023

算法推理的三元边关注

PDF
TL;DR该研究通过神经算法推理对神经网络进行研究，旨在开发能够从经典算法中进行学习的神经网络。主要挑战是开发出表现足够强大的图神经网络，能够预测给定的算法输出，并在未知数据上具备良好的泛化能力。在此工作中，我们介绍了一种新的图神经网络层，称为 Triplet Edge Attention (TEA)，它是一种边感知的图注意力层。我们通过精确计算边的潜在性能和使用基于边的注意力聚合多个三元组消息的方式来实现我们的算法。我们在 CLRS 基准测试中对 TEA 层进行了实证验证，并取得了平均 5% 的改进。特别是，在与现有模型相比，我们的方法在字符串算法中取得了 30% 的改进。
neural algorithmic reasoningneural networksgraph neural networkstriplet edge attention (tea)clrs benchmark
发现论文，激发创造
  • 基于三元关注的类型增强集成三元表示用于跨语言实体对齐

    本文提出了一种名为 TTEA 的新框架，通过考虑集成三元组的特异性和实体角色特征来克服现有方法中对三元组不可分割性和实体角色多样性的关注不足，利用三元组感知注意力导出集成三元组表示，并使用三元组增强实体来建模三元组元素的角色多样性，在三个现实世界的跨语言数据集上展开的大量实验表明，本框架优于现有最先进的方法。

    May, 2023

  • 图上的注意力流建模

    研究了处理现实场景需求的过程推理，通过设计了一组图形轨迹推理任务，基于图形网络，通过关注流机制提高准确性和解释性。

    Nov, 2018

  • Tri-Attention：自然语言处理中的显式上下文感知注意机制

    该研究提出了一种新的三元注意力机制来更好地捕捉自然语言处理中的上下文信息并在三个 NLP 任务中实现了比 30 种非注意、标准 Bi-Attention、上下文 Bi-Attention 方法和预训练神经语言模型更好的效果。

    Nov, 2022

  • 基于图的三元关注网络用于 CQA 中的答案排序

    论文提出了一种面向社区问答平台的自动答案排序方法 —— 基于图的三重注意力网络（GTAN），通过图神经网络学习回答相关性和一个三重注意力方法生成回答排名分数，实验结果表明 GTAN 在三个实际 CQA 数据集上优于最先进的答案排名方法。

    Mar, 2021

  • 基于关系注意力的图结构任务通用 Transformer

    本文描述了如何使用关系注意力处理图数据，以及在各种基准测试中比图神经网络做得更好的关系变压器。

    Oct, 2022

  • 边缘变压器的系统化概括

    提出了一种新型边缘 Transformer 模型，实现了自然语言理解中的系统化概括，并在关系推理、语义解析和依赖解析等几个设置中优于 Relation-aware、Universal 和传统 Transformer 基线模型。

    Dec, 2021

  • 基于深度强化学习的几何问题求解中引入图注意机制

    在在线教育领域，设计一个几何问题的自动求解器被认为是通往普适数学人工智能的关键一步。本研究提出了一种基于深度强化学习框架的图形注意力机制和 BERT 等语言模型的算法 A3C-RL，通过在特定空间中选择最佳策略，显著提高了准确性和效率，并在中国高考几何问题上超越了人类的表现。

    Mar, 2024

  • 三元交互改进图变换器：基于三元图变换器的精确分子图学习

    通过创新的三元关注机制和聚合机制，Triplet Graph Transformer (TGT) 在图中的两个相邻节点之间实现了直接通信，成功应用于分子性质预测，并通过三阶段训练过程和随机推理提高了训练效率和模型性能，在 PCQM4Mv2、OC20 IS2RE 挑战基准上达到了新的最先进结果，并利用迁移学习在 QM9、MOLPCBA 和 LIT-PCBA 分子性质预测基准上获得最先进结果，同时在旅行商问题 (TSP) 上展示了 TGT 的通用性。

    Feb, 2024

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 全局自注意力作为图卷积替代方案

    该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

    Aug, 2021