面向具挑战性自然语言处理应用的可扩展可靠胶囊网络
本研究探讨了使用动态路由的胶囊网络进行文本分类,并提出了三种稳定动态路由过程以减轻噪声胶囊的干扰。对六个文本分类基准进行了一系列实验,结果显示胶囊网络在 4 个数据集上达到了最先进水平,并且在从单标签到多标签文本分类的转移方面比强基准方法有显著的提升。据我们所知,这是第一个对胶囊网络进行文本建模的实证研究。
Mar, 2018
该研究提出了一种改进的胶囊网络模型,通过使用动态路由提取中间特征来提高计算速度和精度,同时使用等变特征胶囊替代类特定胶囊以提高网络泛化能力。
Jul, 2019
该研究引入了一种名为 “快捷路由” 的新型机制,它通过直接激活局部胶囊中的全局胶囊来解决计算效率问题,消除了中间层。同时,还探索了一种基于注意力机制和模糊系数的方法,以提高效率。在 Mnist、smallnorb 和 affNist 数据集上进行的实验证明了与 EM 路由相比,提出的基于模糊和注意力的路由方法能够将计算量分别减少了 1.42 倍和 2.5 倍,突显了它们在胶囊网络中的计算优势。这些发现对于高效准确的层次化模式表示模型的进一步发展具有重要意义。
Jul, 2023
本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查,并提出了一种更加灵活的选择,表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中,该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问题上的首次实证研究。
Nov, 2018
我们提出了一种改进的胶囊网络架构,包括新的路由权重初始化技术、利用条件随机场利用主要胶囊激活之间的语义关系的改进 CapsNet 设计和基于 Cholesky 变换的相关模块,为多标签分类任务提供了更好的可扩展性。
Oct, 2018
我们在本文中介绍了一种新颖的非迭代路由机制,受可训练原型聚类的启发,旨在减少计算复杂性,提高性能效果,同时使用共享的胶囊子空间降低训练过程中的内存需求。通过在 Imagewoof 数据集上的测试结果表明,我们的方法相较当前最佳的非迭代胶囊网络表现出更好的结果,且能够处理计算上过于复杂的情况,从而进一步增强操作效率与性能,为胶囊网络在日益复杂的计算场景中的应用铺平了道路。
Jul, 2023
本研究提出了一种基于胶囊网络和注意力机制的神经网络方法,用于关系提取的多实例多标签学习,实验结果表明该方法显著提高了关系提取的精度,尤其是多实体关系提取。
Dec, 2018
本研究提出了一种新型的胶囊网络 EncapNet,采用两路分支的路由过程,同时引入了反馈协定来补偿临近层中信息的快速损失,该方法相较之前迭代和无监督的路由方案具有更快的计算速度和更好的性能表现,表现在 CIFAR10/100、SVHN 和 ImageNet 子集的图像分类问题上。
Aug, 2018
该论文研究了 CapsNets(胶囊网络)的吸引人之处,并聚焦于解锁其全部潜能的三个关键问题:路由算法的有效性、提取更有效的第一层胶囊、以及胶囊网络中的部分关系学习。此外,还展示了 CapsNets 在实际应用中的潜力,包括无人机的自主定位、合成数据集中的四元数旋转预测和生物医学成像中的肺结节分割。该论文的研究结果对于深入理解 CapsNets 并突破复杂的计算机视觉挑战具有重要意义。
May, 2024
本文探讨了胶囊网络的效率问题,使用仅拥有 160K 个参数且具有高度并行可处理路由的极端架构,证明了我们提出的架构仍能够在三个不同的数据集上取得最先进的结果,并成功地开发了一种新型的非迭代路由算法。实验证明了我们方法的有效性和胶囊网络嵌入更易于泛化的视觉表示的能力。
Jan, 2021