P-tensors: 构建高阶消息传递网络的一般形式

Jun, 2023

P-tensors: 构建高阶消息传递网络的一般形式

P-tensors: a General Formalism for Constructing Higher Order Message Passing Networks

Tianyi Sun, Andrew Hands, Risi Kondor

TL;DR通过考虑给定图形中包含的子图的高阶表示，然后在它们之间执行一些线性映射，我们将这些结构形式化为置换等变张量（P-tensors）并推导了任意阶等变 P-tensors 之间的全部线性映射的基础知识，在多个基准数据集上，我们实验性地展示了这种范例实现了最先进的性能。

Abstract

Several recent papers have recently shown that higher order graph neural networks can achieve better accuracy than their standard message passing counterparts, especially on highly structured graphs such as molecules. These models typically work by considering higher order representations of

graph neural networks subgraphs p-tensors linear maps benchmark datasets

发现论文，激发创造

使用结构消息传递构建强大且等变的图神经网络

通过在节点特征的基础上传播节点的 One-hot 编码，以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数，我们提出了一种具有强大表达能力和等变性的消息传递框架，用于对图形网络进行建模，实验表明本模型可以更准确地预测合成数据上的图形拓扑性质，并在 ZINC 数据集的分子图回归任务中取得了最优结果。

Jun, 2020

对称消息传递算法用于张量特性和分子光谱预测

本文介绍了通过使用极化原子相互作用的神经网络（PaiNN）来改善基于消息传递神经网络的分子预测性能，从而实现分子光谱模拟速度的提升。

Feb, 2021

用于等变信息传递的高阶不可约笛卡尔张量

通过整合基于高阶不可约笛卡儿张量的消息传递神经网络，论文介绍了一种新的机器学习方法，用于高效地进行原子尺度模拟，表现出与第一性原理方法相当甚至更好的性能。

May, 2024

量子启发式的几何建模的神经网络

通过创造物理系统的 3D 多体点云，我们提出了一种新型的基于等变矩阵乘积态 (MPS) 的消息传递策略，有效地建模复杂的多体关系并捕捉了几何图中的对称性，超越了现有的几何图神经网络的平均场近似，并在预测经典牛顿系统和量子张量哈密顿矩阵等基准任务上验证了其卓越的准确性，堪称参数化几何张量网络的创新应用。

Jan, 2024

SpeqNets：稀疏感知置换等变图网络

通过引入新的图同构解决方案，我们设计了一类通用的置换等变图网络，这些架构与以前的架构不同，提供了表达能力和可扩展性之间的细粒度控制，并适应了图的稀疏性。在监督节点和图级分类和回归方案中，这些架构与标准高阶图网络相比计算时间大大缩短，同时在预测性能方面显着提高，而且与标准图神经网络和图内核架构相比也有很大的优势。

Mar, 2022

高阶路径上的神经消息传递

本文介绍了一种基于图神经网络的新模型，利用更高阶的路径传播信息，可以更准确地预测分子的一些性质，比如化学基团和分子几何结构等方面。

Feb, 2020

高效神经化 Higher-order Belief Propagation

本文提出了一种结合了图神经网络和概率图模型的方法，手段是利用一种高效的近似推理算法，将其嵌入到神经网络中实现端到端的学习，可以有效地捕捉节点和图之间的高阶关系，并在分子数据集上取得了明显优于基于 $k$ 阶图神经网络的最新效果。

Oct, 2020

Tensor Frames -- 如何使任何消息传递网络是等变的

建立等变消息传递框架，实现几何深度学习中的任意维度欧几里得空间上的等变信息传递，通过局部坐标框架和张量对象在消息中保持几何信息一致性，并展示了 O (3) 等变性在点云架构上的优势及在法向量回归中的最新成果。

May, 2024

张量空间中的广义语言模型

通过利用张量网络和张量分解，本文提出了一种名为 “张量空间语言模型” 的高维语义空间，其张量表示是 n-gram 语言模型的一种泛化，可用于语言建模。

Jan, 2019

使用张量列车格式解决高维抛物偏微分方程

本文研究高维偏微分方程，提出了一种基于张量列的近似方法和迭代方案，能够在精确性和计算效率之间达到有利的折衷。

Feb, 2021