ICMLJun, 2021

基于等变性的图网络数据效率

PDF
TL;DR通过引入一种新颖的图网络架构，它对于保持相邻节点距离的所有坐标嵌入的任何变换都具有等变性，特别是在 $n$- 维中具有欧几里得和共形正交群等变性，从而使得所提出的模型相对于传统图形架构更加数据高效，并且本质上配备了更好的归纳偏差。我们表明，通过少量数据的学习，我们提出的架构可以完全推广到合成问题中的未见数据，而标准模型需要更多的训练数据才能达到可比较的性能。
graph networksequivariant architecturedata efficiencyinductive biaseuclidean and conformal groups
发现论文，激发创造
  • 等距不变和等变图卷积网络

    我们提出了一种基于图卷积网络的一组变换不变和等变模型，称为 IsoGCNs，并证明了该模型在几何和物理模拟数据相关任务上具有竞争性能.

    May, 2020

  • 不变和等变图网络

    本文提供了对（超）图数据的所有置换不变和等变线性层的表征，并展示了它们的维度，并计算出这些层的正交基，包括对多图数据的推广。同时，在简单的深度神经网络框架中应用这些新的线性层，可以获得比之前的不变性和等变性基础更好的表现，并且可以实现任何消息传递神经网络的近似。

    Dec, 2018

  • E (n) 等变图神经网络

    本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

    Feb, 2021

  • 任意维度等变神经网络

    本文介绍了一种使用代数拓扑学中的表示稳定现象定义等变神经网络的方法，使得网络在固定维度上训练后能够接受任意维度的输入，并提供了简单的开源实现和初步的数值实验。

    Jun, 2023

  • 关于旋转等变点云网络的普适性

    研究点云上函数学习的神经网络结构具有形状不变性，首先推导出两个充分条件以获得普适逼近性能，在此基础上设计了两个新的普适网络结构。

    Oct, 2020

  • 共同关注等变神经网络：将等变性集中于数据中共存的变换

    本研究提出了一种新的共同关注等变神经网络，它不仅能够保留输入的结构信息，而且能够注意到数据中同时出现的变换，并将其泛化到由多个对称组成的群上，实现更好的目标识别效果。

    Nov, 2019

  • 用于三维大分子结构的等变图神经网络

    应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题，在八个任务中，在三个任务上超越了所有基准模型，在另外两个任务上并列第一，在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外，我们证明迁移学习可以进一步提高特定下游任务的性能。

    Jun, 2021

  • 具图卷积的等变神经运算符学习

    我们提出了一种将系数学习方案与残差操作器层结合起来的通用架构，用于在三维欧几里得空间中学习连续函数之间的映射。通过设计，我们的模型可以保证实现 SE (3)- 等变性。从图谱的观点来看，我们的方法可以被解释为在图上（具有无限多个节点的稠密图）上进行卷积，我们将其称为 InfGCN。通过利用输入数据的连续图结构和离散图结构，我们的模型可以有效地捕捉几何信息并保持等变性。通过在大规模电子密度数据集上进行广泛的实验证明，我们的模型明显优于当前最先进的架构。我们还进行了多项消融研究，以证明所提出的架构的有效性。

    Nov, 2023

  • 具有完整局部参考系的 SE (3) 等变图神经网络

    本文提出了一种构建 SE (3) 等变图神经网络的框架，该框架可以在保证性能的前提下实现计算效率的提升，并在牛顿力学建模和平衡分子构型生成两个任务中展示了优异的性能。

    Oct, 2021

  • 近似等变图网络

    图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同，本篇论文侧重于探讨 GNNs 的主动对称性，通过对信号在固定图上的支持进行学习，将近似对称性形式化为图粗化，提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡，实验证明，选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。

    Aug, 2023