ICMLMar, 2017

决定如何决策：人工神经网络中的动态路由

PDF
TL;DR我们提出并系统评估了三种训练动态路由人工神经网络的策略：通过学习变换的图形，不同的输入信号可以采取不同的路线。我们发现，在训练用于分类图像的动态路由网络中，层和分支变得专门处理不同类别的图像。此外，给定固定的计算预算，动态路由网络往往比可比的静态路由网络表现更好。
dynamically-routed neural networksgraphs of learned transformationsimage classificationspecializationcomputational budget
发现论文，激发创造
  • 动态神经网络：一项综述调查

    本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向，分析了其在计算效率和适应性等方面的优势，总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。

    Feb, 2021

  • 学习语义分割的动态路由

    论文提出一种名为动态路由的方法，使用不同的可微分路由来处理输入中的比例差异，减少语义表示中的比例差异，并支持多路径传播和跳跃连接以提高网络能力。

    Mar, 2020

  • 路由网络：自适应选择非线性函数用于多任务学习

    本文提出了一种新的神经网络和训练算法 —— 路由网络（routing network），通过协同多智能体强化学习（collaborative multi-agent reinforcement learning）协同训练路由器（router）和功能块（function blocks），使得路由网络能够动态地组合不同的功能块以适应输入，从而在解决多任务学习（Multi-task learning）时大幅提升了准确性和收敛速度。

    Nov, 2017

  • 基于动态（图）神经网络的规则学习

    通过将规则函数从知识中生成并使用这些规则定义基于规则的层，我们提出了一种解决经典神经网络体系结构中难以自然整合额外信息或专家知识进入学习过程的问题的两步方法。我们的研究重点是第二步，即基于规则的层，它们旨在根据输入样本动态地安排可学习参数在权重矩阵和偏差向量中。我们证明了我们的方法通过选择适当的规则来广义化传统前馈层，如全连接层和卷积层。我们提出了基于规则的图神经网络（RuleGNNs）作为一个具体的应用，克服了普通图神经网络的一些限制。我们的实验结果表明，RuleGNNs 的预测性能与使用基于 Weisfeiler-Leman 标签和模式计数的简单规则的最先进图分类器相当。此外，我们引入了新的合成基准图数据集，展示了如何将专家知识整合到 RuleGNNs 中，使它们比普通图神经网络更强大。

    Jun, 2024

  • 深度强化学习遇见图神经网络：探索一种路由优化用例

    本篇论文提出在 Deep Reinforcement Learning 技术中，将 Graph Neural Networks 集成进 DRL 代理中，以解决网络拓扑的泛化问题，并在路由优化的用例中测试并评估其性能，结果表明，在未曾训练过的网络拓扑中，DRL+GNN 代理能够胜过目前最先进的解决方案。

    Oct, 2019

  • 自然语言处理中动态神经网络的调查

    通过动态神经网络中的 skimming 这个研究方向，可以很好地解决预训练语言模型参数过多的问题，实现神经网络的有效扩展，为处理自然语言提供有效的支持。

    Feb, 2022

  • 下一代网络中自适应交通路由的深度增强学习方法

    我们研究并开发了一种深度强化学习（DRL）方法，用于自适应流量路由，该方法利用深度图卷积神经网络（DGCNN）在 DRL 框架中学习流量行为，并通过 Q 值估计选择路由路径，实现对流量动态的快速适应。与 OSPF 协议相比，实验结果表明了该框架的有效性和适应性，在增加网络吞吐量高达 7.8% 和减少 16.1% 的流量延迟方面取得了显著效果。

    Feb, 2024

  • 通过动态路径定制实现图像字幕

    本文探索一种新颖的动态网络以应对视觉和语言任务，其中推理结构针对不同输入动态定制。通过引入基本单元并在空间和通道运算领域分组，以构建丰富的路径空间和提升路径选择效率，我们设计了一个空间 - 通道联合路由器来根据输入样本的空间和通道信息进行路径定制，并在 MS-COCO 数据集上进行实验证明了提出的动态变压器网络的有效性，获得了 Karpathy 分割和在线测试服务器上的最新最佳性能。

    Jun, 2024

  • 学习自一个单独的图可为无线网络提供近最短路径路由

    我们提出了一种学习算法，用于本地路由策略，只需从单个图中获取的少量数据样本即可在标准无线网络模型中推广到所有随机图。

    Aug, 2023

  • 自主运输网络设计的神经进化算法

    规划自动驾驶公交车网络是一个具有挑战性的优化问题。我们提出了一种新颖的算法来规划自动驾驶公交车的线路网络。我们首先训练了一个图神经网络模型作为构建线路网络的策略，然后将该策略作为进化算法中的一种变异操作符之一。我们在一套标准的运输网络设计基准上评估该算法，发现它在现实基准实例上比独立学习的策略提高了最多 20％，比普通的进化算法方法提高了最多 53％。

    Feb, 2024