学习对称嵌入以实现等变世界模型
这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法,而非人为设计具有相应等变性质的架构,其通过学习相应的参数共享模式来实现对等变性的学习及编码,并且结果显示其成功替代了传统手动构建深度学习架构的方法。
Jul, 2020
通过关注上下文,我们提出了一种能够对不同变换具有适应性的通用表示学习算法,该算法通过学习等变性而不是不变性,使模型能够在给定少量示例作为上下文时,将所有相关特征编码为通用表示,并在等变性相关任务上展现出明显的性能提升。
May, 2024
本文针对深度学习的无监督学习,将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略,其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时,网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件,并针对旋转,平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验,测试了我们方法的有效性和鲁棒性。
Feb, 2022
通过研究发现,即使强制施加不完全匹配于领域对称性的 equivariance 约束,也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下,在具有潜在对称性的领域中,equivariant model 的表现优于 non-equivariant 方法。
Nov, 2022
提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN,该模型可以将数据映射到特征空间,其中对称性变得线性,并同时在特征空间中发现对称性,理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示,该方法可以捕捉到高维观测中的内在对称性,从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。
Sep, 2023
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
在这项工作中,我们展示了对于构建正交等变模型和学习图中节点位置编码等任务,标志等变性受到理论上的限制,然而我们通过开发新颖的标志等变神经网络架构来展示了标志等变性的好处。
Dec, 2023
对使用数据集的对称性来约束神经网络的参数空间以提高其可训练性和泛化能力的几何深度学习方法在量子机器学习领域得到了应用,其中包括了等变量量子神经网络 (EQNNs)。本研究探讨了经典到量子嵌入对等变量量子卷积神经网络(EQCNNs)图像分类性能的影响,分析了数据嵌入方法与对称群表示的关联,以及不同表示对 EQCNN 表达能力的影响。我们数值比较了基于三种不同基佯波函数嵌入的 EQCNN 与非等变量量子卷积神经网络(QCNN)的分类准确性。结果显示,在训练迭代次数较少时,所有的 EQCNN 都比非等变量 QCNN 具有更高的分类准确性,而在迭代次数较多时,这种改进明显依赖于所使用的嵌入方法。预计本研究的结果对于几何量子机器学习中数据嵌入选择的重要性有着更好的了解,对学术界具有实用意义。
Dec, 2023
实际几何和 3D 视觉任务充满了令人困惑的对称性,该论文介绍了一种名为神经等距映射的自动编码器框架,它学习将观察空间映射到通用的潜在空间,在这个空间中,当相应的观察在世界空间中有几何关系时,编码是由等距映射相关的。这种方法形成了一个有效的自监督表示学习的基础,并且我们证明了一个在预训练的潜在空间中操作的简单暗箱神经网络能够达到与精心设计的手工网络相媲美的结果,以处理复杂的非线性对称性。此外,等距映射捕捉了世界空间中相应变换的信息,我们展示了这使我们能够直接从相邻视图的编码之间的映射的系数为相机姿态回归。
May, 2024
我们提出了一种全等变性的新颖对称性破缺框架,通过将一组对称性破缺对象输入网络来实现,最小化这些集合的大小等效于数据效率。我们证明了最小化这些集合相当于一个被广泛研究的群论问题,并提供了对点群问题的解决方案,通过一些破对称性的示例来展示我们的方法在实践中的工作原理。
Feb, 2024