Mar, 2018

研究具有动态路由的胶囊网络在文本分类中的应用

PDF
TL;DR本研究探讨了使用动态路由的胶囊网络进行文本分类，并提出了三种稳定动态路由过程以减轻噪声胶囊的干扰。对六个文本分类基准进行了一系列实验，结果显示胶囊网络在 4 个数据集上达到了最先进水平，并且在从单标签到多标签文本分类的转移方面比强基准方法有显著的提升。据我们所知，这是第一个对胶囊网络进行文本建模的实证研究。
capsule networksdynamic routingtext classificationmulti-labelempirical investigation
发现论文，激发创造
  • 使用动态路由提取中间特征以开发可扩展胶囊网络

    该研究提出了一种改进的胶囊网络模型，通过使用动态路由提取中间特征来提高计算速度和精度，同时使用等变特征胶囊替代类特定胶囊以提高网络泛化能力。

    Jul, 2019

  • 面向具挑战性自然语言处理应用的可扩展可靠胶囊网络

    本文提出了一种改进 capsule 网络在 NLP 中的应用的算法，增加了路由过程的可靠性，改善了网络的可扩展性，并在多标签文本分类和问答任务中验证了其有效性。

    Jun, 2019

  • 基于动态路由的关注胶囊网络用于关系提取

    本研究提出了一种基于胶囊网络和注意力机制的神经网络方法，用于关系提取的多实例多标签学习，实验结果表明该方法显著提高了关系提取的精度，尤其是多实体关系提取。

    Dec, 2018

  • 具有快捷路由的胶囊网络

    该研究引入了一种名为 “快捷路由” 的新型机制，它通过直接激活局部胶囊中的全局胶囊来解决计算效率问题，消除了中间层。同时，还探索了一种基于注意力机制和模糊系数的方法，以提高效率。在 Mnist、smallnorb 和 affNist 数据集上进行的实验证明了与 EM 路由相比，提出的基于模糊和注意力的路由方法能够将计算量分别减少了 1.42 倍和 2.5 倍，突显了它们在胶囊网络中的计算优势。这些发现对于高效准确的层次化模式表示模型的进一步发展具有重要意义。

    Jul, 2023

  • 基于加权核密度估计的快速动态路由

    通过优化胶囊网络中的动态路由方法，提高路由效率，以实现与其他领先方法相媲美的性能表现。

    May, 2018

  • 面向多标签分类的上下文感知胶囊网络

    我们提出了一种改进的胶囊网络架构，包括新的路由权重初始化技术、利用条件随机场利用主要胶囊激活之间的语义关系的改进 CapsNet 设计和基于 Cholesky 变换的相关模块，为多标签分类任务提供了更好的可扩展性。

    Oct, 2018

  • 利用胶囊网络实现线性时间神经机器翻译

    本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查，并提出了一种更加灵活的选择，表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中，该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问题上的首次实证研究。

    Nov, 2018

  • 胶囊网络学习和学习数据表示

    研究 CapsNet 的路由对模型拟合的影响，胶囊表征如何帮助发现数据分布中的全局结构以及学习的数据表征如何适应和推广到新任务。研究结果表明，路由操作决定胶囊向上图层传递信息的确定性，适当的确定性与模型适应度相关；在数据已知 2D 结构的实验中，胶囊表征比标准 CNN 中的神经元更有意义；与标准 CNN 的神经元相比，延续层的胶囊更适应新的数据分布。

    Oct, 2018

  • ProtoCaps: 一种快速、非迭代的胶囊神经网络路由方法

    我们在本文中介绍了一种新颖的非迭代路由机制，受可训练原型聚类的启发，旨在减少计算复杂性，提高性能效果，同时使用共享的胶囊子空间降低训练过程中的内存需求。通过在 Imagewoof 数据集上的测试结果表明，我们的方法相较当前最佳的非迭代胶囊网络表现出更好的结果，且能够处理计算上过于复杂的情况，从而进一步增强操作效率与性能，为胶囊网络在日益复杂的计算场景中的应用铺平了道路。

    Jul, 2023

  • 高效的胶囊网络：具有自注意力路由的胶囊网络

    本文探讨了胶囊网络的效率问题，使用仅拥有 160K 个参数且具有高度并行可处理路由的极端架构，证明了我们提出的架构仍能够在三个不同的数据集上取得最先进的结果，并成功地开发了一种新型的非迭代路由算法。实验证明了我们方法的有效性和胶囊网络嵌入更易于泛化的视觉表示的能力。

    Jan, 2021