介绍了两种新的神经网络结构: SignNet 和 BasisNet,它们对特征向量显示的两个关键对称性具有不变性,并证明它们在光谱图上比现有的光谱方法更加有效。
Feb, 2022
最近的神经网络展现出对电子基态波函数的精确逼近。在本研究中,我们探索了一种反转的方法,首先根据电子坐标计算反对称量,然后应用对称性等变的神经网络以保持反对称性。我们的实证结果表明,这种方法将简化为一个 Jastrow 因子,它是波函数中常用的置换不变的乘法因子。在本研究的评估中,我们得出了对于用于表示电子波函数的符号等变函数既没有理论优势也没有实证优势的结论。
Mar, 2024
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024
本文研究了等变网络在处理对称任务时的歧义性,并提出了解决方法:通过添加组件解决对称歧义问题并使其在处理平面对称性输入时具有旋转等变性,提出了一种称为 OAVNN 的向量神经元网络,通过左右分割任务对其进行了评估,发现网络能快速准确地完成分割任务,并希望这项工作能够推动对等变网络在对称对象上表达能力的研究。
Oct, 2022
本文提供了对(超)图数据的所有置换不变和等变线性层的表征,并展示了它们的维度,并计算出这些层的正交基,包括对多图数据的推广。同时,在简单的深度神经网络框架中应用这些新的线性层,可以获得比之前的不变性和等变性基础更好的表现,并且可以实现任何消息传递神经网络的近似。
Dec, 2018
利用学习对称嵌入网络(SENs)的方法能够促进等变网络应用于具有复杂对称性表示的数据,并可能相对于全等变和非等变基线产生精度和泛化方面的改进。
Apr, 2022
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同,本篇论文侧重于探讨 GNNs 的主动对称性,通过对信号在固定图上的支持进行学习,将近似对称性形式化为图粗化,提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡,实验证明,选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。
Aug, 2023