使用 SL (2, R) 等变性学习多项式问题
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL (n, R),以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
通过表征多元张量输入和张量输出的等变多项式函数,本文描述了不变函数。我们将注意力集中在关于正交群对张量的对角作用的等变函数上,并展示了如何将这种表征推广到包括洛伦兹群和辛群在内的其他线性代数群。我们的目标是定义等变机器学习模型,特别是关注稀疏向量估计问题。我们的实验结果表明,所提出的等变机器学习模型可以学习背景中表现优于已知的最佳理论方法的谱方法。实验还表明,学习到的谱方法可以在尚未进行理论分析的设置中解决该问题。这是理论可以告知机器学习模型并且机器学习模型可以告知理论的一个有前途的方向示例。
Jun, 2024
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法,通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题,实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。
Feb, 2021
线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种,我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论,如权重共享特性,并证明所有不变的线性函数可以通过线性自编码器进行学习。
Sep, 2023
通过梯度下降,我们研究了学习等变神经网络的问题。尽管已知的问题对称(“等变性”)被纳入神经网络中,经验上改善了从生物学到计算机视觉等领域的学习流程的性能,但是一项有关学习理论的研究表明,在相关统计查询模型(CSQ)中,实际学习浅层全连接(即非对称)网络的复杂度呈指数级增长。在这项工作中,我们提出了一个问题:已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难?我们的答案是否定的。特别地,我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界,这些下界在相关输入维度中都以超多项式或指数级增长。因此,尽管通过对称性注入了显著的归纳偏差,但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。
Jan, 2024
该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法,并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统,可以保持线性和角动量的精确守恒。
Feb, 2020
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023