Feb, 2024

等变框架与连续规范化的不可能性

PDF
TL;DR该论文提供了关于 frame-averaging 的理论支持：在常用的群组中，不存在能够保持 averaged 函数连续性的有效计算帧的选择。为了解决这个鲁棒性问题，我们正式定义并构建了能够保持连续性的加权帧，并通过构建 $SO (2)$，$SO (3)$ 和 $S_n$ 在点云上的有效连续加权帧来展示它们的实用性。
canonicalizationequivarianceframe-averagingweighted framescontinuity
发现论文，激发创造
  • 对不变性学习和等变性学习的正式观点

    利用框架取代方法来实现神经网络的对称性，引入了规范化角度，设计了对特征向量更优且理论上和实践中都更优的新框架，揭示了现有方法之间的等价性。

    May, 2024

  • 不变与等变网络设计的框架平均

    介绍了一种称为框架平均的通用框架，用于使现有神经网络体系结构对新的对称性类型具有不变性或等变性。该框架建立在团体平均算子之上，并通过使用小的子集来取代整个团的平均算子，从而保证较低的计算成本。通过使用框架平均，提出了一类称为通用图神经网络（GNNs）的新模型，实现了几个应用程序（包括点云正常估计、超越 2-WL 图分离和 N 体动力学预测），并达到了所有这些基准测试的最高成绩。

    Oct, 2021

  • 通过最小帧平均实现等变性，提升对称性和效率

    通过帧平均的方法，在机器学习系统中实现等变性。我们提出了 Minimal Frame Averaging (MFA) 数学框架，用于构建确切等变性的最小帧，扩展到了 Lorentz 群和幺正群，并在多个任务中展示了通过 MFA 来编码对称性的效率和有效性。

    Jun, 2024

  • 等变形状空间学习的帧平均

    本文提出了一种框架，通过引入均变自动编码器和将平面欧几里得运动等价于形状不同部分之间的变换来将均变性纳入编码器和解码器， 在未见过的测试形状上具有最先进的泛化性能。

    Dec, 2021

  • 具有完整局部参考系的 SE (3) 等变图神经网络

    本文提出了一种构建 SE (3) 等变图神经网络的框架，该框架可以在保证性能的前提下实现计算效率的提升，并在牛顿力学建模和平衡分子构型生成两个任务中展示了优异的性能。

    Oct, 2021

  • Tensor Frames -- 如何使任何消息传递网络是等变的

    建立等变消息传递框架，实现几何深度学习中的任意维度欧几里得空间上的等变信息传递，通过局部坐标框架和张量对象在消息中保持几何信息一致性，并展示了 O (3) 等变性在点云架构上的优势及在法向量回归中的最新成果。

    May, 2024

  • 黎曼框架中的 Gromov-Wasserstein 平均化

    应用 Gromov-Wasserstein 距离的 Riemannian 框架，我们开发了一种在任意大小和对称性矩阵的空间中进行统计任务和网络数据分析的实用工具，并对该 “空间” 的切向结构和 Fréchet 函数的梯度流进行了理论上的探索。

    Oct, 2019

  • 学习标准化函数的等变性

    本文提出了基于对称性神经网络的一种替代方案，通过学习生成数据的规范表示来避免架构约束。并为多个感兴趣的组提供了实现它们的明确方法，证明了学习神经网络来执行规范化比使用预定义启发式方法更好，并且该方法在实践中实现了出色的性能表现。

    Nov, 2022

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018

  • FAENet：材料建模的帧平均等变图神经网络

    本文介绍了一种基于随机框架平均（SFA）的灵活框架，通过数据转换使任何模型 E（3）- 等变或不变，并提出了一个快速、表达力强且没有对称性约束设计的图神经网络 FAENet。我们在材料建模和常见分子建模任务中理论和实验表明了本方法的有效性和优越性。

    Apr, 2023