Aug, 2023

融合神经启发的适应性在人工智能中持续学习

PDF
TL;DR通过建立一个稳定性与可塑性均衡、具有多个学习模块的学习系统，我们提出了一种通用方法，可以适度减弱旧记忆在参数分布中的影响，以提高学习可塑性，并通过协调多学习者架构确保解决方案的兼容性。经过大量的理论和实证验证，我们的方法不仅明显提高了持续学习的性能，尤其是在任务增量设置中超过了突触正则化方法，还可能推进神经适应机制的理解，成为推动人工智能和生物智能共同进步的新范例。
发现论文，激发创造
  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 基于生物启发架构的持续学习任务性能改进

    使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。

    Aug, 2023

  • 通过突触智能进行连续学习

    本研究介绍了智能突触，模拟了生物神经网络的复杂分子机制来解决深度学习中的连续学习问题，实现了高效的分类任务连续学习过程。

    Mar, 2017

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 连续学习的全面调查：理论，方法与应用

    本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

    Jan, 2023

  • 突触记忆巩固理论与智能可塑性的延续学习

    人和动物终身学习，这对智能至关重要。我们在本章中研究了复杂内部突触动力学的可塑性机制在实现神经网络的终身学习能力中所起的关键作用。通过调查理论研究，我们强调了促进终身学习的两个基本因素：一是突触可塑性机制必须在多个行为相关的时间尺度上保持和演化内部状态；二是可塑性算法必须利用内部状态智能地调节单个突触的可塑性，以便实现对新记忆的无缝整合，并避免对现有记忆的干扰。我们的章节涵盖了这些原理在深度神经网络中的成功应用，并强调了突触元可塑性在维持终身学习能力方面的重要性。最后，我们概述了进一步研究的方向，以了解大脑卓越的终身学习能力，并利用类似机制来开发人工智能系统。

    May, 2024

  • 深度持续学习中的可塑性维护

    本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

    Jun, 2023

  • 塑料人工神经网络综述：探索神经结构搜索和不断学习之间的交汇点

    这篇论文是第一篇广泛的综述文章，阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域，并提出了各种方法以促进完全自动化和神经网络的终身可塑性。

    Jun, 2022