二分类中的最优对称性
本研究从概率对称性的角度考虑群不变性,建立功能性和概率对称性之间的联系,并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构,可用于模拟此类分布并提供了一般性的计算程序。
Jan, 2019
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练,本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。
Jun, 2023
我们提出了一个通用的框架,用于将任意神经网络架构进行对称化,并使其关于给定群体具有等变性。我们构建在Kim等人(2023)和Kaba等人(2023)的对称化建议的基础上,并通过用一个直观地测量群轨道之间距离的优化来取代将神经特征转换为群表示的方法来改进它们。这种改变使我们的方法适用于比这两个提议更广泛的矩阵群,如Lorentz群O(1, 3)。我们在SO(2)图像分类任务上实验证明了我们方法的竞争力,同时也展示了在O(1, 3)任务上的更广泛性。我们的实现将在此https URL上提供访问。
Nov, 2023
本文介绍了一种能够自动检测输入每个元素的对称性水平的方法,并通过学习对称性的分布生成伪标签,从而在无监督学习中学习每个输入的对称性水平。该方法在合成数据集上进行了验证,证明了其在生成无对称性数据集以及检测推理期间的非同分布对称性方面的实际应用。此方法能够提高非等变模型的泛化性和鲁棒性。
Dec, 2023
通过梯度下降,我们研究了学习等变神经网络的问题。尽管已知的问题对称(“等变性”)被纳入神经网络中,经验上改善了从生物学到计算机视觉等领域的学习流程的性能,但是一项有关学习理论的研究表明,在相关统计查询模型(CSQ)中,实际学习浅层全连接(即非对称)网络的复杂度呈指数级增长。在这项工作中,我们提出了一个问题:已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难?我们的答案是否定的。特别地,我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界,这些下界在相关输入维度中都以超多项式或指数级增长。因此,尽管通过对称性注入了显著的归纳偏差,但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。
Jan, 2024
本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题,提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作,揭示了其输入空间和表示之间的内在对称性,具有重要的理论和实践意义。
Sep, 2024
本研究解决了机器学习模型在应对复杂变换时的鲁棒性和泛化能力问题,提出了一种结合高阶对称性和类别理论的新框架。通过引入超对称类别和函子表示,研究表明这种对称强化学习模型显著提升了现代机器学习算法的理论基础和实际应用能力,推动了相关研究和创新的新方向。
Sep, 2024