用于文档理解的消息传递注意力网络

AAAIAug, 2019

用于文档理解的消息传递注意力网络

Message Passing Attention Networks for Document Understanding

Giannis Nikolentzos, Antoine J.-P. Tixier, Michalis Vazirgiannis

TL;DR该文介绍了一种基于消息传递框架的应用，即面向自然语言处理的消息传递注意力网络（MPAD），并在 10 个标准文本分类数据集上进行了实验，结果表明其性能与现有最先进模型相当，代码公开可用。

Abstract

graph neural networks have recently emerged as a very effective framework for processing graph-structured data. These models have achieved state-of-the-art performance in many tasks. Most graph neural networks ca

graph neural networks message passing nlp text classification documents

发现论文，激发创造

动态图消息传递网络用于视觉识别

本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

Sep, 2022

合作图神经网络

图神经网络是基于迭代计算的节点表示的图机器学习流行架构之一；本文提出了一个新的框架，用于训练图神经网络，其中每个节点可以选择自己的策略，从而更灵活地探索图拓扑结构并进行学习。

Oct, 2023

基于图注意力网络的多模态预训练在文档理解中的应用

本文提出了一种基于多模态图注意力机制的图文结合的自动文档分析模型 (GraphDoc)，该模型利用文本、布局和图像信息进行多模态预训练，并通过门控融合层对每个节点进行多模态特征融合，通过图注意层建模每个节点之间的上下文关系，学习了仅使用 320k 未标注文档的通用表示，在公共数据集上获得了最先进的性能。

Mar, 2022

大规模知识图谱推理的动态修剪信息传递网络

本研究提出了基于动态修剪的消息传递网络 (DPMPN) 来进行大规模知识图谱推理，该模型使用图形式的注意力机制来动态构造和扩展子图，并且能够对输入进行建模，可同时提供图形式的解释和准确的预测，并在知识库完成任务中胜过大部分现有方法。

Sep, 2019

用于视频理解的统一图结构模型

本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

Mar, 2021

TrackMPNN: 一种用于多目标跟踪的消息传递图神经网络架构

该研究致力于使用动态无向图和图形神经网络来解决多目标跟踪问题，同时提供了有效的解决方案和建议，证明了使用任何现成的检测器提供的原始边界框就足以在具有挑战性的多目标跟踪数据集上实现有竞争力的跟踪结果。

Jan, 2021

自适应信息传递：缓解过度平滑、过度压缩和未能到达的通用框架

通过在变分推断框架中赋予消息传递架构自由适应其深度和筛选消息的能力，本研究提出了一种能够更好捕捉长程相互作用的简单策略，并在与该问题相关的五个节点和图预测数据集上超越了现有技术水平，稳定提高了基线方法在这些任务上的性能。

Dec, 2023

分层互信息传递用于分子图学习

使用层次神经消息传递结构对分子图进行学习，并在 ZINC 数据集和 MoleculeNet 基准集的数据集上验证其性能。

Jun, 2020

社交网络中基于观点动力学的神经消息传递的统一视角

我们提出了一种基于有界置信度的信息传递框架 ODNet，将社会网络和神经信息传递的概念相结合，用于分析和推断动态系统的行为。通过调整有界置信度和影响力权重，并定义与社交网络图特点一致的观点交换规则，我们的方法能够简化复杂的社交网络图，准确识别内部社区和基因在不同代谢途径中的角色。

Oct, 2023

基于图结构的多任务学习

本文提出了两种基于神经序列模型的多任务学习架构，采用 message-passing graph 神经网络的思想，构建了通信的图多任务学习框架，并在文本分类和序列标注任务上进行了大量实验，证明了其在多任务学习和迁移学习上的有效性和可解释性。

Nov, 2018