REM: 胶囊网络的路由熵最小化
该研究引入了一种名为 “快捷路由” 的新型机制,它通过直接激活局部胶囊中的全局胶囊来解决计算效率问题,消除了中间层。同时,还探索了一种基于注意力机制和模糊系数的方法,以提高效率。在 Mnist、smallnorb 和 affNist 数据集上进行的实验证明了与 EM 路由相比,提出的基于模糊和注意力的路由方法能够将计算量分别减少了 1.42 倍和 2.5 倍,突显了它们在胶囊网络中的计算优势。这些发现对于高效准确的层次化模式表示模型的进一步发展具有重要意义。
Jul, 2023
该论文研究了 CapsNets(胶囊网络)的吸引人之处,并聚焦于解锁其全部潜能的三个关键问题:路由算法的有效性、提取更有效的第一层胶囊、以及胶囊网络中的部分关系学习。此外,还展示了 CapsNets 在实际应用中的潜力,包括无人机的自主定位、合成数据集中的四元数旋转预测和生物医学成像中的肺结节分割。该论文的研究结果对于深入理解 CapsNets 并突破复杂的计算机视觉挑战具有重要意义。
May, 2024
本研究提出了一种新型的胶囊网络 EncapNet,采用两路分支的路由过程,同时引入了反馈协定来补偿临近层中信息的快速损失,该方法相较之前迭代和无监督的路由方案具有更快的计算速度和更好的性能表现,表现在 CIFAR10/100、SVHN 和 ImageNet 子集的图像分类问题上。
Aug, 2018
研究 CapsNet 的路由对模型拟合的影响,胶囊表征如何帮助发现数据分布中的全局结构以及学习的数据表征如何适应和推广到新任务。研究结果表明,路由操作决定胶囊向上图层传递信息的确定性,适当的确定性与模型适应度相关;在数据已知 2D 结构的实验中,胶囊表征比标准 CNN 中的神经元更有意义;与标准 CNN 的神经元相比,延续层的胶囊更适应新的数据分布。
Oct, 2018
本研究提出了一种基于胶囊网络和注意力机制的神经网络方法,用于关系提取的多实例多标签学习,实验结果表明该方法显著提高了关系提取的精度,尤其是多实体关系提取。
Dec, 2018
我们在本文中介绍了一种新颖的非迭代路由机制,受可训练原型聚类的启发,旨在减少计算复杂性,提高性能效果,同时使用共享的胶囊子空间降低训练过程中的内存需求。通过在 Imagewoof 数据集上的测试结果表明,我们的方法相较当前最佳的非迭代胶囊网络表现出更好的结果,且能够处理计算上过于复杂的情况,从而进一步增强操作效率与性能,为胶囊网络在日益复杂的计算场景中的应用铺平了道路。
Jul, 2023
本文提出了一种名为 G-CapsNet 的改进版 CapsNet 网络结构,将路由过程嵌入到卷积神经网络的优化过程中,使得耦合系数完全可训练,该网络在 MNIST 数据集上取得了类似于原论文中的性能,并测试了堆叠多个胶囊层的可能性。
Aug, 2018
我们提出了一种改进的胶囊网络架构,包括新的路由权重初始化技术、利用条件随机场利用主要胶囊激活之间的语义关系的改进 CapsNet 设计和基于 Cholesky 变换的相关模块,为多标签分类任务提供了更好的可扩展性。
Oct, 2018
本文探讨了胶囊网络的效率问题,使用仅拥有 160K 个参数且具有高度并行可处理路由的极端架构,证明了我们提出的架构仍能够在三个不同的数据集上取得最先进的结果,并成功地开发了一种新型的非迭代路由算法。实验证明了我们方法的有效性和胶囊网络嵌入更易于泛化的视觉表示的能力。
Jan, 2021
本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查,并提出了一种更加灵活的选择,表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中,该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问题上的首次实证研究。
Nov, 2018