Jan, 2017

PathNet：进化引导梯度下降的超级神经网络

PDF
TL;DRPathNet 是一个神经网络算法，利用嵌入到神经网络中的代理，其任务是发现用于新任务的网络哪些部分可以重新使用以允许参数重用，以防止灾难性遗忘。我们证明了它在二进制 MNIST，CIFAR 和 SVHN 监督学习分类任务和一组 Atari 和 Labyrinth 强化学习任务上具有广泛适用性。
artificial general intelligenceneural networktransfer learninggenetic algorithmreinforcement learning
发现论文，激发创造
  • GeniePath: 自适应接受路径的图神经网络

    介绍了 GeniePath，一种可扩展的方法来学习置换不变图数据上定义的神经网络的自适应接受野。该方法的自适应路径层由两个互补函数组成，分别用于广度和深度探索，在传递性和归纳性设置中均可使用，并于其他方法进行了广泛实验证明可以得到最先进的结果。

    Feb, 2018

  • PPNet: 一种用于端到端近似最优路径规划的新型神经网络结构

    路径规划研究中，由于对初始解敏感且收敛速度较慢，我们提出了一种分为路径空间划分和路径空间中的路点生成的两级级联神经网络，名为 PPNet，用于解决此问题。此外，我们提出了一种名为 EDaGe-PP 的有效数据生成方法，实验结果表明，与其他方法相比，由 EDaGe-PP 产生的数据集训练的 PPNet 的计算时间少于 1/33，成功率提高了约 2 倍。与最先进的路径规划方法相比，我们验证了 PPNet 的性能，结果表明 PPNet 可以在 15.3 毫秒内找到接近最优解，远远快于最先进的路径规划器。

    Jan, 2024

  • 通用视频游戏玩耍中的神经模块重用

    提出了一种在神经网络控制下自适应地利用先前学习的网络的知识转移方法，实现了高维序列决策领域的增量学习和知识迁移，在 Atari 2600 游戏中得到了成功的验证。

    Dec, 2015

  • 在神经网络中将最优路径搜索与任务相关的学习结合

    使用神经网络表示寻径问题并将路径的成本值转化为神经元的连接权重，结合网络学习机制，在线自适应更新权重以解决具有不同要求的任务。该算法复杂度与 Bellman Ford 算法相同，可用于寻找最优路径和路径增强。

    Jan, 2022

  • 深度神经网络中通路角色的理解

    通过分析经过训练的卷积神经网络（CNN），我们提出了一种算法来提取各个像素的扩散路径，以确定与目标类别相关联的输入图像中像素的位置，并且这种基于路径的表示在不同类别之间具有明显的区别。

    Feb, 2024

  • 路径聚合网络用于实例分割

    本文提出 Path Aggregation Network（PANet）来提高神经网络中信息传递的效率，主要集中于基于提案的实例分割框架。具体来说，通过底层路径增强和自适应特征池化等方法来提高信息的传递效率，并建立了一个补充分支，以有效提高 Mask 预测的准确性。我们的方法在多个数据集上达到了最佳表现，具有简单易实现以及较小的计算复杂度。

    Mar, 2018

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • 基于路径级网络转换的高效架构搜索

    本文提出了一种新的神经网络结构搜索方法，使用网络转换函数实现路径级别的结构修改，通过强化学习实现搜索过程，实验表明，该方法可以提高参数效率和测试结果。

    Jun, 2018

  • 通过遍历权重空间的功能不变路径来构建灵活的机器学习系统

    通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

    Apr, 2022

  • 渐进式神经网络

    本论文研究了使用 Progressive Networks 这种方法来解决转移学习和遗忘问题，通过提出新的敏感性测量方法来评价该方法在各种强化学习任务上的表现，并表明它优于基于预训练和微调的常见基线。

    Jun, 2016