Dec, 2023

超网络的优化器、初始化器和架构对示教式连续学习的影响

PDF
TL;DR对于连续学习从示范中（CLfD）的研究，本文通过一项探索性研究评估了不同优化器、初始化方法和网络架构对于 CLfD 中超网络学习性能的影响。结果表明，自适应学习率优化器效果很好，但针对超网络设计的初始化方法对于 CLfD 没有优势。同时，我们还发现具备稳定轨迹预测能力的超网络对于不同网络架构具有鲁棒性。
发现论文，激发创造
  • 重访神经网络的持续学习：架构视角

    本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task IL 方面实现了最新的连续学习性能。

    Apr, 2024

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019

  • 学习优化器的训练动态调查

    深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。

    Dec, 2023

  • 自主机器人的持续学习：基于原型的方法

    未来的自主智能机器人面临着从非重复稀疏数据流中学习、检测新颖性并具备无监督学习能力的挑战。本文通过提出一种名为 Continually Learning Prototypes (CLP) 的基于原型的方法，解决了这一挑战。CLP 在 FS-OCL 学习中表现出卓越的结果，在检测新颖性和无监督学习方面达到强基线水平。

    Mar, 2024

  • 异质性持续学习

    本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

    Jun, 2023

  • 塑料人工神经网络综述：探索神经结构搜索和不断学习之间的交汇点

    这篇论文是第一篇广泛的综述文章，阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域，并提出了各种方法以促进完全自动化和神经网络的终身可塑性。

    Jun, 2022

  • 超网络下的连续模型强化学习

    通过使用任务条件超网络连续学习遇到的动态模型，HyperCRL 方法在机器人运动和操作任务中实现了连续模型基于强化学习，而不需要重新训练之前的任务，同时超越了现有的连续学习替代方法

    Sep, 2020

  • 基于部分超网络的持续学习

    本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

    Jun, 2023

  • 在线持续学习用于室内物体识别的强健性

    家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型，通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。

    Jul, 2023

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023