Apr, 2018

基于注意力神经网络的图到序列学习

PDF
TL;DR本论文提出了一种新颖的通用端对端图到序列神经编解码模型，该模型使用改进的基于图神经网络的聚合策略产生节点和图嵌入，引入了注意机制，实现了更好地处理大型图，并在多项任务中取得了最先进的性能，显著优于现有的图神经网络、Seq2Seq 和 Tree2Seq 模型。
sequence to sequencegraph-to-sequenceneural encoder-decoderattention mechanismgraph neural networks
发现论文，激发创造
  • Seq-HyGAN: 基于超图注意力网络的序列分类

    提出了一种名为 Seq-HyGAN 的超图注意力网络模型用于解决序列分类的挑战，并使用两级注意机制生成序列表示为超边，同时学习每个序列的关键子序列。实验结果表明，Seq-HyGAN 模型可以有效地分类序列数据并显着优于基线。

    Mar, 2023

  • Node2Seq: 用于图神经网络中可训练卷积的方法

    本文提出了一种名为 Node2Seq 的新型图网络层，通过注意力机制和一维卷积神经网络实现了对不同相邻节点信息聚合的显示可训练权重，并提出了通过注意力分数以自适应方式融合非局部信息进行特征学习的方法，实验证明该方法提高了特征学习的性能。

    Jan, 2021

  • 应用于语义解析和数学问题的图到树神经网络学习结构化输入输出翻译

    本文提出一种新的图到树神经网络模型 (Graph2Tree)，该模型包含一个图编码器和一个分层树解码器，能够对图结构的输入进行编码和树结构的输出进行解码，用于解决神经语义解析和数学问题求解，实验证明该模型在这些任务上表现优异。

    Apr, 2020

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016

  • 门控图神经网络实现的图到序列学习

    提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

    Jun, 2018

  • 基于深度强化学习的序列到序列模型

    本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

    May, 2018

  • 门控图序列神经网络

    本论文研究图结构数据的学习技术，以 Graph Neural Networks 为起点，使用门控循环单元和现代优化技术，并将其扩展为输出序列，展示出其在一些简单的 AI 和图算法学习任务中的能力，并在程序验证的问题中实现了最新水平的性能。

    Nov, 2015

  • 评估序列到序列模型在手写文本识别中的应用

    该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

    Mar, 2019

  • Cseq2seq: 循环序列到序列学习

    本文提出循环序列到序列学习（Cseq2seq）来解决传统序列到序列学习（seq2seq）在编码源序列时无法处理源序列和目标序列结构一一对应的问题，并通过实验证明 Cseq2seq 实现了显著和稳定的性能提升。

    Jul, 2016

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018