利用 Progressive Networks 框架实现了真实环境中机器人在视觉输入条件下进行复杂任务的学习,该方法可以通过在模拟环境中进行模型训练和预先学习来优化真实世界中的策略和性能,而不必依赖于模型基础的轨迹优化。
Oct, 2016
研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型,实现了在多个任务上获取并保留专业知识的能力。
Dec, 2016
终身学习对于人类和动物至关重要,然而,在机器学习和神经网络模型中,随着不断获取非静态数据分布的信息,由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结,并比较了现有神经网络方法的差异。
Feb, 2018
本研究探讨如何在说话人识别、情感识别和性别识别三个语音非语言任务之间转移知识,并将其扩展到交叉数据集任务,比较使用渐进神经网络与预训练和微调的传统深度学习方法。结果表明,表情识别可以受益于使用最初学习不同语音非语言任务的表示,并且转移学习可以有效地利用其他数据集来提高情感识别系统的性能。
Jun, 2017
本论文提出了一种称之为强化连续学习的方法,该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构,不仅能够在防止灾难性遗忘方面有很好的性能,还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中,该方法优于现有的深度网络连续学习替代方案。
May, 2018
本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象,从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。
提出了一种利用深度生成网络结合图像分类和强化学习领域中的连续学习思想的模型,该模型具有双重记忆系统和伪回放系统,能够在 Atari 2600 游戏中完成顺序学习而不会遗忘前面的任务,并且随着任务数量的增加不需要额外的存储要求,存储原始数据或重新访问过去的任务。
Dec, 2018
人类的大脑通过预测性处理的方式,以较小的资源实现了有效的控制策略,该研究利用预测性处理理论,建立了一个可以预测自身感观状态的循环神经网络模型在强化学习中的应用,并证明该模型在多个游戏中的表现,优于同等时间内的其他同类模型以及人类玩家。
Nov, 2022
通过研究任务增量设置和在线连续设置,本文提出了一些方法以解决神经网络的严重遗忘问题,并在不同的基准测试和学习序列上进行了评估,显示了连续学习技术现在的发展和应用面临的挑战。
Oct, 2019
提出了一种在神经网络控制下自适应地利用先前学习的网络的知识转移方法,实现了高维序列决策领域的增量学习和知识迁移,在 Atari 2600 游戏中得到了成功的验证。
Dec, 2015