逆问题的等变神经网络
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN,该网络通过稳定性分析可证明具有变形鲁棒性,能在旋转、缩放和平移等输入畸变的情况下保持等变性,从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。
Nov, 2021
我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性,并探讨了对网络性能的影响。我们发现,即使输入维度只有一个像素的微小变化,常用的架构也会变得近似等变,而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时,近似等变网络能够放松其等变性约束,并在常见的基准数据集上与或胜过完全等变网络。
Aug, 2023
该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法,并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统,可以保持线性和角动量的精确守恒。
Feb, 2020
本研究从概率对称性的角度考虑群不变性,建立功能性和概率对称性之间的联系,并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构,可用于模拟此类分布并提供了一般性的计算程序。
Jan, 2019
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
本文介绍了四种可以插入神经网络模型中的操作,并将它们组合起来使这些模型具有部分对称旋转性,并且使得神经网络可以在不同方向共享参数,从而达到更好的性能和模型尺寸。
Feb, 2016