Nov, 2023

具图卷积的等变神经运算符学习

PDF
TL;DR我们提出了一种将系数学习方案与残差操作器层结合起来的通用架构，用于在三维欧几里得空间中学习连续函数之间的映射。通过设计，我们的模型可以保证实现 SE (3)- 等变性。从图谱的观点来看，我们的方法可以被解释为在图上（具有无限多个节点的稠密图）上进行卷积，我们将其称为 InfGCN。通过利用输入数据的连续图结构和离散图结构，我们的模型可以有效地捕捉几何信息并保持等变性。通过在大规模电子密度数据集上进行广泛的实验证明，我们的模型明显优于当前最先进的架构。我们还进行了多项消融研究，以证明所提出的架构的有效性。
发现论文，激发创造
  • 等距不变和等变图卷积网络

    我们提出了一种基于图卷积网络的一组变换不变和等变模型，称为 IsoGCNs，并证明了该模型在几何和物理模拟数据相关任务上具有竞争性能.

    May, 2020

  • 建模 3D 动力学的等变图神经算子

    本论文介绍了 Equivariant Graph Neural Operator（EGNO）的新颖方法，该方法通过建立从时间到空间的映射，直接将动力学建模为轨迹而不仅仅是下一步预测，并且通过引入傅里叶空间中参数化的等变时态卷积来捕捉时态相关性，实现了模拟 3D 动力学的全新操作学习框架。一系列实验表明 EGNO 在多个领域（包括粒子模拟、人体运动捕捉和分子动力学等）中表现出显著优越的性能。

    Jan, 2024

  • E (n) 等变图神经网络

    本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

    Feb, 2021

  • 非线性谱滤波下的图上等变机器学习

    图谱域的非线性光谱滤波器 (NLSFs) 通过在图形的信号空间中操作来保证图功能性的转移，具有普适逼近性质，并且在节点和图分类基准测试中表现出优越性能。

    Jun, 2024

  • 用于三维大分子结构的等变图神经网络

    应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题，在八个任务中，在三个任务上超越了所有基准模型，在另外两个任务上并列第一，在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外，我们证明迁移学习可以进一步提高特定下游任务的性能。

    Jun, 2021

  • 在黎曼流形上进行高阶规范等变 CNN 和应用

    本文介绍一个高阶推广的标准等变卷积的实现方式，即等变 Volterra 网络，使得在给定的接受范围内可以建模空间扩展的非线性交互，同时保持全局同构等变性，最后将它应用到神经影像数据的分类中。

    May, 2023

  • e3nn：欧几里德神经网络

    e3nn 是一种通用的框架，用于创建 E (3) 可变换的可训练函数，操作对象为描述三维系统的几何和几何张量，并能运用核心的张量积类和球谐函数来构建复杂的模块，例如卷积和注意力机制，可用于高效地处理张量场网络，三维中的可定向卷积神经网络，Clebsch-Gordan Networks，SE (3) 变换和其他 E (3) 可变换网络。

    Jul, 2022

  • E2PN: 高效的 SE (3) 等变点网络

    本文提出了一个用于学习来自 3D 点云的 SE (3)- 等变特征的卷积结构。它将 KPConv（一种广泛用于处理点云数据的卷积形式）视为等变版本。通过组合群卷积和商表示，我们实现了一个简单，轻量级，快速的设计，能与现有的任务特定点云学习管道集成，同时在各种任务中实现了可比较或更优的性能，消耗更少的内存和运行速度更快。通过实验，我们展示了该方法可以促进点云等变特征学习在实际应用中的采用并激发未来应用的发展。

    Jun, 2022

  • 多维向量神经元：更好更快的 O (n) 等变 Clifford 图神经网络

    本研究通过测试几种基于 Clifford 多矢量的新颖消息传递图神经网络（GNNs），旨在解决当前大多数对 $O (n)$ 或 $SO (n)$ 等等变换具有等变性的深度学习模型在处理标量信息时效果较好，但计算复杂度较高的问题。我们的方法利用了高效的不变标量特征，并同时在多矢量表示上执行表达性学习，特别是通过使用等变的几何乘积算子。通过整合这些要素，我们的方法在 N-Body 模拟任务和蛋白质去噪任务上优于已建立的高效基准模型，同时保持高效性。特别是，在 N-body 数据集上，我们的方法的误差推动到 0.0035（平均 3 次运行）；比最近的方法提升了 8%。我们的实现在 Github 上提供。

    Jun, 2024

  • 基于等变性的图网络数据效率

    通过引入一种新颖的图网络架构，它对于保持相邻节点距离的所有坐标嵌入的任何变换都具有等变性，特别是在 $n$- 维中具有欧几里得和共形正交群等变性，从而使得所提出的模型相对于传统图形架构更加数据高效，并且本质上配备了更好的归纳偏差。我们表明，通过少量数据的学习，我们提出的架构可以完全推广到合成问题中的未见数据，而标准模型需要更多的训练数据才能达到可比较的性能。

    Jun, 2021