本文介绍了四种可以插入神经网络模型中的操作,并将它们组合起来使这些模型具有部分对称旋转性,并且使得神经网络可以在不同方向共享参数,从而达到更好的性能和模型尺寸。
Feb, 2016
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法,通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题,实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。
Feb, 2021
我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性,并探讨了对网络性能的影响。我们发现,即使输入维度只有一个像素的微小变化,常用的架构也会变得近似等变,而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时,近似等变网络能够放松其等变性约束,并在常见的基准数据集上与或胜过完全等变网络。
Aug, 2023
本文介绍如何在深度神经网络中引入基于模型的方法以及相关推理算法,并展示如何将传统的网络视为马尔科夫随机场的均场推理,在此基础上实现非负矩阵分解,得到一种新类型的深度神经网络以及有效的训练方法。通过语音增强实验得到了与传统神经网络相似的结果,但参数数量却大大减少。
Sep, 2014
本研究从概率对称性的角度考虑群不变性,建立功能性和概率对称性之间的联系,并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构,可用于模拟此类分布并提供了一般性的计算程序。
Jan, 2019
本文针对深度学习的无监督学习,将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略,其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时,网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件,并针对旋转,平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验,测试了我们方法的有效性和鲁棒性。
Feb, 2022
通过使用规范化网络和数据相关的先验知识,可以使大型预训练模型实现等变性,提高计算效率并增强对数据旋转等确定性变换的鲁棒性。
Oct, 2023
机器学习在现代世界的成功主要取决于数据的丰富性。然而,在许多工业和科学问题中,数据量有限。通过具有对称性知识的等变神经网络,可以更有效地将机器学习方法应用于数据稀缺的科学问题,其中,我们建议结合具有对称性意识的不变体架构和扩张卷积堆栈是一种非常有效且易于实现的方法,可以在准确性方面较标准方法有可观的改进。我们将其应用于来自不同领域的具有代表性的物理问题:预测光子晶体的带隙和磁基态的网络逼近。建议的不变多尺度结构提高了网络的表达能力,在所有考虑的案例中表现更好。
Jun, 2024
通过研究发现,即使强制施加不完全匹配于领域对称性的 equivariance 约束,也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下,在具有潜在对称性的领域中,equivariant model 的表现优于 non-equivariant 方法。
Nov, 2022