- MoGU: 提升开源 LLM 安全性并保持其可用性的框架
我们通过引入 MoGU 框架,将基础大型语言模型 (LLMs) 转化为可用 LLM 和安全 LLM 两个变体,并进一步采用动态路由来平衡它们的贡献,从而增强 LLMs 的安全性,同时保留其可用性。我们的实验结果验证了 MoGU 框架的卓越性 - OrthCaps:一种具有稀疏注意力路由和剪枝的正交胶囊网络
本论文介绍了一种名为 OrthCaps 的正交胶囊网络来减少冗余、改善路由性能和降低参数数量。通过引入高效的剪枝胶囊层、正交稀疏注意力路由以及对路由过程中的权重矩阵进行正交化,该方法在分类任务中证实了 OrthCaps 的效率和鲁棒性,并且 - ECCV多样化动态路由用于视觉任务
该论文提出了一种名为 “Diversified Dynamic Routing” 的新型神经网络模型,通过无监督学习的方式解决了 Mixture of Experts 模型中存在的两个问题,用于在 Cityscapes 和 MS-COCO - 使用图卷积网络进行个性化表示学习
提出一种基于图卷积网络的个性化动态路由特征编码器 (PDRFE) 模型,以提高 Alexa 中个性化技能路由的性能和准确性;通过预测缺陷标签来评估该模型,在交叉熵指标上观察到与基线相比高达 41% 的性能改进。
- CVPR学习语义分割的动态路由
论文提出一种名为动态路由的方法,使用不同的可微分路由来处理输入中的比例差异,减少语义表示中的比例差异,并支持多路径传播和跳跃连接以提高网络能力。
- ECCV三维点云的四元数等变胶囊神经网络
提出一种能够处理点云的三维胶囊模块,它对于三维旋转和移动具有等变性,并且对于输入点的排列具有不变性;该模块通过四元数上的新颖动态路由过程来建立端到端的变换等变性;此外,作者在理论上将胶囊之间的动态路由与欧几里德旋转平均算法相连接,通过此连接 - 提高胶囊网络对图像仿射变换的鲁棒性
本文提出 Affine CapsNets,提升 CapsNets 对仿射变换的泛化能力,去除路由机制并在 MNIST 数据集上进行测试,结果表明基准性能从 79% 大幅提升至 93.21%。
- 利用胶囊网络改进多头注意力
本文利用胶囊网络对多头注意力中缺乏的不同子空间之间的语义重叠问题进行优化,通过采用动态路由和期望最大化算法进行信息聚类和分离,从而对汉英翻译和英德翻译任务的 Transformer 模型进行改进。
- MM使用动态路由提取中间特征以开发可扩展胶囊网络
该研究提出了一种改进的胶囊网络模型,通过使用动态路由提取中间特征来提高计算速度和精度,同时使用等变特征胶囊替代类特定胶囊以提高网络泛化能力。
- 胶囊间的注意路由
本文提出了 Attention Routing CapsuleNet(AR CapsNet)作为一种新的胶囊网络架构,使用注意力路由和胶囊激活来取代胶囊网络的动态路由和扁平激活函数,对 MNIST、affNIST 和 CIFAR-10 分类 - Tmall 多兴趣网络动态路由推荐
本文提出了一种名为 MIND 的新颖模型,通过多向量编码用户多样的兴趣来解决工业推荐系统中的候选物品匹配和排序问题,并通过对公共基准数据集和天猫的大规模产业数据集进行广泛实验,证明了 MIND 的出色性能。
- ACL基于胶囊神经网络的联合槽位填充与意图识别
本研究提出了基于 capsule 的神经网络模型,通过动态路由协议实现槽填充和意图检测,从而有效地利用了语义层次结构。实验表明,与其他模型结构以及现有自然语言理解服务相比,我们的模型具有更好的性能。
- EMNLP利用胶囊网络实现线性时间神经机器翻译
本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查,并提出了一种更加灵活的选择,表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中,该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问 - ECCV基于加权核密度估计的快速动态路由
通过优化胶囊网络中的动态路由方法,提高路由效率,以实现与其他领先方法相媲美的性能表现。
- 使用胶囊网络进行交通标志检测的新型深度学习模型
该论文提出了一种使用胶囊网络的交通标志检测新方法,通过动态路由和路由协议算法,胶囊网络可以更好地捕获图像的姿态、视角和方向,提高了自主车辆交通标志检测的可靠性和准确性。
- 目标分割胶囊
本文介绍一种名为 SegCaps 的新型卷积 - 反卷积胶囊网络,扩展了胶囊网络的使用范围到目标分割任务,并表现出与其他基于 U-Net 的体系结构相比精度更高效率更高,同时参数空间减少了 95.4%。
- 研究具有动态路由的胶囊网络在文本分类中的应用
本研究探讨了使用动态路由的胶囊网络进行文本分类,并提出了三种稳定动态路由过程以减轻噪声胶囊的干扰。对六个文本分类基准进行了一系列实验,结果显示胶囊网络在 4 个数据集上达到了最先进水平,并且在从单标签到多标签文本分类的转移方面比强基准方法有 - 胶囊网络在复杂数据上的性能
本文介绍了卷积神经网络的两个不足之处:不能考虑特征之间的重要空间关系和缺乏旋转不变性。为了解决这个问题,Hinton 等人提出了一种新型神经网络 —— 胶囊网络,该网络采用动态路由和重构正则化技术,具有旋转不变性和空间感知能力。在 MNIS