自主深度学习:面向动态环境的迭代学习方法
提出了一种无监督的深度自动聚类网络(ADCN)的构建方法,它结合了自动提取特征的层和自治的全连接层,通过重建损失进行自我进化和自我聚类,没有标记样本,能够在流式环境中完全自主地构造 ADCN 结构。
Sep, 2021
该论文介绍了人工智能中机器学习的相关概念,特别介绍了称为深度神经网络(DNNs)的一种深度学习模型,它具有多个人工神经元和层级结构,但容易受到所谓的 “灾难性遗忘”(CF)效应的影响,它还介绍了对抗 CF 效应的各种技术,以实现持续学习的目标。
Jul, 2022
论文提出了一种在线深度学习框架,使用新提出的 Hedge Backpropagation 方法,实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的 DNN 模型学习。
Nov, 2017
这篇论文是第一篇广泛的综述文章,阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域,并提出了各种方法以促进完全自动化和神经网络的终身可塑性。
Jun, 2022
通过研究任务增量设置和在线连续设置,本文提出了一些方法以解决神经网络的严重遗忘问题,并在不同的基准测试和学习序列上进行了评估,显示了连续学习技术现在的发展和应用面临的挑战。
Oct, 2019
深度状态空间模型 (DSSM) 在动态系统建模方面的能力使其在近年来受到广泛关注。然而,现有 DSSM 方法仅适用于单任务建模,需要在重新访问之前的任务时使用历史任务数据进行重新训练。为了解决这个问题,我们提出了一种连续学习 DSSM (CLDSSM) 方法,它能够适应不断变化的任务而不会导致灾难性遗忘。我们的 CLDSSM 方法整合了主流的基于正则化的连续学习方法,确保以恒定的计算和内存成本对多个动态系统进行模型化的高效更新。我们还对各个连续学习方法应用于相应的 CLDSSM 进行了全面的成本分析,并通过在真实数据集上的实验证明了 CLDSSM 的有效性。结果证实,尽管各种竞争的连续学习方法各具特点,但所提出的 CLDSSM 在解决灾难性遗忘方面始终优于传统的 DSSM 方法,并能够实现对新任务的快速准确参数传递。
Mar, 2024
我们提出了流媒体版本的正则判别分析算法,与卷积神经网络结合,证明在 ImageNet ILSVRC-2012 数据集上表现优于批量学习和现有的流媒体学习算法。
Sep, 2023
在 6G 通信系统中,Metaverse 为一种新范式,旨在创建由许多世界构成的虚拟环境,其中每个世界都提供不同的服务。本文通过使用自适应人工智能(Adaptive AI)来实现自持续性策略,解决了多通道环境下的多用户接入问题,提出了一种基于连续学习的双重深度 Q 学习(DDQL)技术,该技术可以有效地提高吞吐量并在高度动态场景下快速收敛。
Sep, 2023
通过建立一个稳定性与可塑性均衡、具有多个学习模块的学习系统,我们提出了一种通用方法,可以适度减弱旧记忆在参数分布中的影响,以提高学习可塑性,并通过协调多学习者架构确保解决方案的兼容性。经过大量的理论和实证验证,我们的方法不仅明显提高了持续学习的性能,尤其是在任务增量设置中超过了突触正则化方法,还可能推进神经适应机制的理解,成为推动人工智能和生物智能共同进步的新范例。
Aug, 2023
我们提出了一种动态结构发展的脉冲神经网络 (DSD-SNN) 模型,通过动态地分配和增长神经元,并删除多余神经元,提高内存容量,减少计算开销,实现高效自适应的连续学习。我们的模型在多类增量学习和任务增量学习方面验证了其有效性,显著提升性能、学习速度和内存容量,同时在与现有方法的比较中,与基于深度神经网络 (DNNs) 的方法具有可比较的性能,并且明显优于基于脉冲神经网络 (SNNs) 的现有方法的性能。
Aug, 2023