Nov, 2022

序列中向量路由的算法

PDF
TL;DR本文提出了一种路由算法，它能够通过对输入的向量序列进行计算得到指定长度和向量尺寸的新序列，并通过优化实现了可计算、可存储和内存占用量显著降低等多项功能，并在自然语言和视觉分类任务上得到了有竞争力或最先进的准确性和可解释性的端到端信贷分配。
routing algorithmvector sequencecomputationoptimizationscredit assignments
发现论文，激发创造
  • 动态路由的序列编码信息聚合

    本文提出一种聚合机制来获取具有动态路由策略的固定大小的向量表示文本序列，并通过实验结果在五个文本分类任务中展现了其优越性。

    Jun, 2018

  • 多智能体路由价值迭代网络

    本文提出了一种多智能体坐标线路图的图神经网络模型，利用学习价值迭代在稀疏相互连接图中执行坐标线路图，并通过通信模块使智能体在线协调并更有效地适应变化，可以应用于自主车辆中实现实时映射和车队管理等。

    Jul, 2020

  • 具有快捷路由的胶囊网络

    该研究引入了一种名为 “快捷路由” 的新型机制，它通过直接激活局部胶囊中的全局胶囊来解决计算效率问题，消除了中间层。同时，还探索了一种基于注意力机制和模糊系数的方法，以提高效率。在 Mnist、smallnorb 和 affNist 数据集上进行的实验证明了与 EM 路由相比，提出的基于模糊和注意力的路由方法能够将计算量分别减少了 1.42 倍和 2.5 倍，突显了它们在胶囊网络中的计算优势。这些发现对于高效准确的层次化模式表示模型的进一步发展具有重要意义。

    Jul, 2023

  • 硬件高效向量符号架构的 Sobol 序列优化

    使用优化算法和 Sobol 序列生成高质量超向量，改进了超维计算中的数据编码和性能，提高语言和标题分类的准确性并降低能量消耗。

    Nov, 2023

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • 未被映射环境中多车路径规划的分布式在线发布

    本文提出了一种完全分布式、在线和可扩展的增强学习算法，用于解决多车辆路径规划问题，代理定期聚集在本地簇中，独立地在每个簇中应用多智能体扩展方案，动态地在代理之间协调任务并共享其局部信息。通过较大规模的模拟，证明了分布式滚动算法比贪婪基础策略具有近两倍的成本优势。

    May, 2023

  • 可变贝叶斯胶囊路由

    该论文提出了一种新的 Capsule Routing Algorithm，利用 Variational Bayes 拟合 Transforming Gaussians 的混合模型，实现了 Capsule VAE 的转换，并成功解决了 MLE based models 的一个固有弱点

    May, 2019

  • 基于加权核密度估计的快速动态路由

    通过优化胶囊网络中的动态路由方法，提高路由效率，以实现与其他领先方法相媲美的性能表现。

    May, 2018

  • 使用循环缓冲单元模拟网络路径

    该研究提出了一种名为 RBU 的新型 RNN 模型，应用于动态系统和序列决策制定等领域的网络模拟并取得了良好的效果，同时具备标准网络模拟器工具的解释性、神经模型的优势以及基于 SGD 技术的高效学习的效率。

    Feb, 2022

  • 从信用分配到熵正则化：神经序列预测的两个新算法

    本论文研究了奖励增强最大似然学习的信用分配问题，并在令牌级的 RAML 和熵正则化强化学习之间建立了理论等价性。在两个基准数据集上，我们展示了所提出的算法分别优于 RAML 和 Actor-Critic，为序列预测提供了新的选择。

    Apr, 2018