一种自适应随机路径选择方法用于增量学习

Jun, 2019

一种自适应随机路径选择方法用于增量学习

An Adaptive Random Path Selection Approach for Incremental Learning

Jathushan Rajasegaran, Munawar Hayat, Salman Khan, Fahad Shahbaz Khan, Ling Shao...

TL;DR本文提出了自适应随机路径选择网络（Adaptive RPS-Net）算法，并通过使用新任务的最优路径和任务之间参数共享的方式，提高了网络的灵活性和运行效率。使用知识蒸馏和回顾策略，以及路径重用策略来防止灾难性遗忘，通过动态平衡模型可塑性的简单控制器来维护先前和新获取的知识之间的平衡关系。实验证明，该方法在连续学习和速度方面都具有优势。

Abstract

In a conventional supervised learning setting, a machine learning model has access to examples of all object classes that are desired to be recognized during the inference stage. This results in a fixed model that lacks the flexibility to adapt to new learning tasks. In practical settings, learning tasks often arrive in a sequence and the models must continu

incremental learning random path selection algorithm parameter sharing knowledge distillation catastrophic forgetting

发现论文，激发创造

持续剪枝和选择：以专业子网络进行增量式分类学习

研究人类大脑能够通过 Continual-Prune-and-Select (CP&S) 的 subnetwork 选择策略，在不产生灾难性遗忘并能跨 subnetworks 传递知识的情况下，使 DNN 顺序学习十项任务且准确率在 94% 以上，是一项在类增量学习方面的优异结果。

Aug, 2022

基于图神经网络和强化学习的可扩展自适应学习

本文介绍了一种灵活可扩展的强化学习方法来解决学习路径个性化推荐问题，该模型是基于图神经网络的顺序推荐系统，并在一组模拟学习者上进行了评估，结果表明它可以学习如何在小数据情况下进行良好的推荐。

May, 2023

重新思考任务增量学习基线

研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，MiniImageNet，MNIST，PermutedMNIST，notMNIST，SVHN 和 FashionMNIST）识别任务进行了研究，并为公平比较现有方法建立了强有力的基准结果。在 2D 和 3D 领域，我们还观察到 SAN 在任务增量设置中基本不受不同任务顺序的影响。

May, 2022

视觉任务的类增量学习算法综合研究

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

朝着敏捷机器人：基于神经网络的直观机器人位置推测

提出了一种基于学习的机器人位置推测网络（RPSN），通过可微的逆运动学算法和神经网络，该方法可以很高的成功率推测出机器人的位置。实验结果表明，RPSN 能够在较少次数的尝试中生成理想位置，并展示了较高的数据效率。这项工作使得机器人能够快速准确地推测出可行的目标位置，从而实现了类似人类一样的迅速行动的敏捷机器人。

Feb, 2024

PathNet：进化引导梯度下降的超级神经网络

PathNet 是一个神经网络算法，利用嵌入到神经网络中的代理，其任务是发现用于新任务的网络哪些部分可以重新使用以允许参数重用，以防止灾难性遗忘。我们证明了它在二进制 MNIST，CIFAR 和 SVHN 监督学习分类任务和一组 Atari 和 Labyrinth 强化学习任务上具有广泛适用性。

Jan, 2017

混合脉冲神经网络的持续学习中的神经通路自适应重组

基于大脑启发的自适应神经路径重组的持续学习算法，在增量任务中通过自组织调控网络资源以有效应对多样化的认知任务，表现出卓越的性能、能量消耗和内存容量。具备学习更复杂任务、整合过去学习知识以及自我修复能力的特点。

Sep, 2023

渐进式神经网络

本论文研究了使用 Progressive Networks 这种方法来解决转移学习和遗忘问题，通过提出新的敏感性测量方法来评价该方法在各种强化学习任务上的表现，并表明它优于基于预训练和微调的常见基线。

Jun, 2016

模型压缩的参数共享之辩

通过对随机参数共享（RPS）方法、剪枝技术和构建更小模型的记忆和准确度之间的权衡进行综合评估，我们的研究结果表明，RPS 相比较于更小模型和各种剪枝策略，如 MAG、SNIP、SYNFLOW 和 GRASP，在整个压缩范围内始终表现出更优的性能，特别是在更高压缩情况下。我们理论上证明了 RPS 在线性模型的记忆效率表示方面优于剪枝技术，从而呼吁向基于 RPS 的模型范式转变。

Oct, 2023

基于逐层神经网络的像素级仿真机器人学习

利用 Progressive Networks 框架实现了真实环境中机器人在视觉输入条件下进行复杂任务的学习，该方法可以通过在模拟环境中进行模型训练和预先学习来优化真实世界中的策略和性能，而不必依赖于模型基础的轨迹优化。

Oct, 2016