构建深度等变胶囊网络
我们提出了一种基于群等变胶囊网络的框架,通过引入路由协议算法,实现了保证等变性和不变性的性质,在与群卷积网络相连的同时,提供了一种深度神经网络架构,可控制特定的等变性和不变性属性,并提供可解释和完全等变的表示向量作为输出胶囊。
Jun, 2018
通过使用 Capsule Networks (CapsNets) 构建不变 - 等变自监督架构,提出了 CapsIE (Capsule Invariant Equivariant Network) 的目标函数,以提高等变任务的下游性能,具有更高的效率和更少的网络参数。在 3DIEBench 数据集上,CapsNets 能学习出复杂且普遍化的表示,相比之前的 CapsNet 基准数据,达到最先进的性能,超越了监督模型的性能表现。
May, 2024
该论文提出了一种新的 Capsule Routing Algorithm,利用 Variational Bayes 拟合 Transforming Gaussians 的混合模型,实现了 Capsule VAE 的转换,并成功解决了 MLE based models 的一个固有弱点
May, 2019
本文介绍了一种使用李群上的卷积(group convolutions over Lie groups)来实现任何形变的不变性的严谨数学框架,经实验证明在具有仿射不变性的分类任务中,我们的方法比传统 CNN 提高了 30%的准确性,同时优于大多数 CapsNets。
Nov, 2021
该研究提出了一种改进的胶囊网络模型,通过使用动态路由提取中间特征来提高计算速度和精度,同时使用等变特征胶囊替代类特定胶囊以提高网络泛化能力。
Jul, 2019
提出一种能够处理点云的三维胶囊模块,它对于三维旋转和移动具有等变性,并且对于输入点的排列具有不变性;该模块通过四元数上的新颖动态路由过程来建立端到端的变换等变性;此外,作者在理论上将胶囊之间的动态路由与欧几里德旋转平均算法相连接,通过此连接,证明了这种路由方式能够被解释为对胶囊投票进行鲁棒的旋转平均,进而在大型数据集上进行了实验验证。
Dec, 2019
介绍了 Topographic VAE,它是一种用于高效训练具有拓扑结构潜变量的深度生成模型的新方法,并证明了该模型成功地从序列中学习了组合特征,并在相应转换测试序列上获得了更高的可能性和近似等变性。
Sep, 2021
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本文提出了使用非参数核方法对胶囊网络进行训练的一种改进方法,这种方法可提高胶囊网络的稳健性并提供有意义的不确定性测量,从而帮助检测敌对输入。该方法通过学习胶囊网络产生的表示来构建高斯过程的协方差核,并证明这种方法在提高对抗性干扰稳健性的同时实现了可比较的预测性能。
Jun, 2019