等变模型的可证明的严格泛化优势
通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题,研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。
Jun, 2021
本研究提出了一种新的不变和等变深度神经网络的泛化误差上界,并开发了一个称为 “商特征空间” 的方法来描述其对于一些属性的作用,证明了 “商特征空间” 的容积可以描述泛化误差并进一步表明不变性和等变性显著改善了误差上界的主导项,同时讨论了不变性 DNN 的表达能力并证明了其能够实现最佳逼近率,并通过实验结果验证了理论结果。
Oct, 2019
在机器学习领域,最近,模型对于群作用的等变性已经成为重要的研究主题。本研究通过利用 Lie 群的 Lie 代数,提出了一种新颖的几乎等变性定义,并给出了一种将几乎等变性编码到模型中的实用方法。进一步,该研究还证明了等变性与等距性的关联以及几乎等变性与几乎等距性的关联,并在一定约束条件下,证明了几乎等变性流形嵌入函数与完全等变性嵌入函数之间的存在性。最后,通过在完全等变性和几乎等变性设置下的数据集上进行基准测试,证明了该方法的有效性。
Oct, 2023
我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射,以建立一种像网络一样的计算模型,能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造,通过引入中间多项式层,通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE(2)群的 “电荷守恒卷积” 模型,并证明其是连续 SE(2)等变信号变换的通用逼近器。
Apr, 2018
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL (n, R),以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
本文针对深度学习的无监督学习,将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略,其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时,网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件,并针对旋转,平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验,测试了我们方法的有效性和鲁棒性。
Feb, 2022
该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法,并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统,可以保持线性和角动量的精确守恒。
Feb, 2020