等变形状空间学习的帧平均
介绍了一种称为框架平均的通用框架,用于使现有神经网络体系结构对新的对称性类型具有不变性或等变性。该框架建立在团体平均算子之上,并通过使用小的子集来取代整个团的平均算子,从而保证较低的计算成本。通过使用框架平均,提出了一类称为通用图神经网络(GNNs)的新模型,实现了几个应用程序(包括点云正常估计、超越 2-WL 图分离和 N 体动力学预测),并达到了所有这些基准测试的最高成绩。
Oct, 2021
通过帧平均的方法,在机器学习系统中实现等变性。我们提出了 Minimal Frame Averaging (MFA) 数学框架,用于构建确切等变性的最小帧,扩展到了 Lorentz 群和幺正群,并在多个任务中展示了通过 MFA 来编码对称性的效率和有效性。
Jun, 2024
实际几何和 3D 视觉任务充满了令人困惑的对称性,该论文介绍了一种名为神经等距映射的自动编码器框架,它学习将观察空间映射到通用的潜在空间,在这个空间中,当相应的观察在世界空间中有几何关系时,编码是由等距映射相关的。这种方法形成了一个有效的自监督表示学习的基础,并且我们证明了一个在预训练的潜在空间中操作的简单暗箱神经网络能够达到与精心设计的手工网络相媲美的结果,以处理复杂的非线性对称性。此外,等距映射捕捉了世界空间中相应变换的信息,我们展示了这使我们能够直接从相邻视图的编码之间的映射的系数为相机姿态回归。
May, 2024
本文介绍了一种基于随机框架平均(SFA)的灵活框架,通过数据转换使任何模型 E(3)- 等变或不变,并提出了一个快速、表达力强且没有对称性约束设计的图神经网络 FAENet。我们在材料建模和常见分子建模任务中理论和实验表明了本方法的有效性和优越性。
Apr, 2023
本文针对深度学习的无监督学习,将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略,其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时,网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件,并针对旋转,平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验,测试了我们方法的有效性和鲁棒性。
Feb, 2022
这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法,而非人为设计具有相应等变性质的架构,其通过学习相应的参数共享模式来实现对等变性的学习及编码,并且结果显示其成功替代了传统手动构建深度学习架构的方法。
Jul, 2020
本文提出了一种自我监督的学习方法,通过向嵌入空间添加额外的几何结构以获得更有意义的数据差异性表示,并引入等变目标使旋转操作在球面嵌入空间上的表现更佳,从而取得了更好的性能表现。
Jun, 2023
该论文提供了关于 frame-averaging 的理论支持:在常用的群组中,不存在能够保持 averaged 函数连续性的有效计算帧的选择。为了解决这个鲁棒性问题,我们正式定义并构建了能够保持连续性的加权帧,并通过构建 $SO (2)$,$SO (3)$ 和 $S_n$ 在点云上的有效连续加权帧来展示它们的实用性。
Feb, 2024
本文提出了一种构建 SE (3) 等变图神经网络的框架,该框架可以在保证性能的前提下实现计算效率的提升,并在牛顿力学建模和平衡分子构型生成两个任务中展示了优异的性能。
Oct, 2021