Aug, 2023

基于生物启发架构的持续学习任务性能改进

PDF
TL;DR使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。
continual learningsynaptic plasticityneuromodulationonline learningbiological principles
发现论文，激发创造
  • 融合神经启发的适应性在人工智能中持续学习

    通过建立一个稳定性与可塑性均衡、具有多个学习模块的学习系统，我们提出了一种通用方法，可以适度减弱旧记忆在参数分布中的影响，以提高学习可塑性，并通过协调多学习者架构确保解决方案的兼容性。经过大量的理论和实证验证，我们的方法不仅明显提高了持续学习的性能，尤其是在任务增量设置中超过了突触正则化方法，还可能推进神经适应机制的理解，成为推动人工智能和生物智能共同进步的新范例。

    Aug, 2023

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 生成回放与反馈连接作为连续学习的通用策略

    本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

    Sep, 2018

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 基于图的持续学习

    本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

    Jul, 2020

  • 从少量且带有噪声的数据中快速持续学习

    本文研究神经网络存在的遗忘问题以及连续学习的解决方案，通过重放机制和元学习的结合，发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题，并在保证学习效率和准确性方面具有优势。

    Mar, 2021

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 通过突触智能进行连续学习

    本研究介绍了智能突触，模拟了生物神经网络的复杂分子机制来解决深度学习中的连续学习问题，实现了高效的分类任务连续学习过程。

    Mar, 2017

  • 建模内部类别变化进行持续学习

    本篇研究论文介绍了记忆基础连续学习的特点和不足，并提出加强表示差异化的两种扰动方法，以改进连续学习的性能，最终基于大量实证研究结果成功验证了我们的结论。

    Oct, 2022

  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018