- CVPR彩虹记忆:带有多样样本记忆的持续学习
我们提出了一种新的记忆管理策略 Rainbow Memory(RM),该策略基于逐样本分类的不确定性和数据增强,旨在增强记忆中的样本多样性,并在 MNIST,CIFAR10,CIFAR100 和 ImageNet 数据集上进行了广泛的实证验 - KDD基于临床笔记的终身学习疾病诊断
本研究提出了一种基于深度学习的疾病诊断系统,采用注意力机制和情节记忆来实现生命周期学习,以应对序列疾病诊断任务,并在多个医院收集的临床笔记数据集上取得了最先进的诊断表现。
- 基于记忆增强的强化学习在图像目标导航中的应用
该研究提出了一种基于记忆增强的注意力机制模型,利用序列记忆学习图像目标导航,模型表现优异,创造了新的最优结果。与相关工作不同的是,仅使用 RGB 图像输入,无需姿态 / 深度传感器等额外信息。
- 预分配固定分类器的类增量学习
本文提出了一种基于固定分类器和迭代记忆的新方法来解决神经网络在增量学习中遗忘以前知识和记忆的问题,并进行了公开数据集实验来验证其有效性和新颖性的内部特征表示。
- EMNLP受限内存下高效元生存学习
本文提出一个高效的元学习框架,将终身学习的三个普遍原则相结合,以有效地训练同时避免灾难性遗忘和负迁移,并达到与多任务学习相当的性能。
- La-MAML: 前瞻元学习用于连续学习
本文提出了 Look-ahead MAML 算法及其在在线连续学习中的应用,通过调整元学习更新中每个参数的学习率实现更灵活、高效的控制灾难性遗忘,并在实际视觉分类任务中取得了优异的性能。
- ICLR基于图的持续学习
本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆,来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明,该模型持续胜过最近提出的基线方法,用于无任务的持续学习。
- ACL语言模型的即时信息检索增强
本文的研究重点是探索使用信息检索作为预训练语言模型的增强,通过将信息检索与 GPT 2.0 相结合,可以实现 Gigaword 语料库中的困惑度降低 15%,同时还验证了该增强技术在事件共参考任务上的有效性。
- ICLR永不放弃:学习有向探索策略
本篇论文提出了一种基于强化学习和 UVFA 框架的方法,通过学习一系列定向的探索策略来解决难以探索的游戏,并使用轨迹存储和 kNN 算法来构造一种内在奖励信号,以影响策略的学习方式,并在 Atari-57 游戏套件中得到了很好的表现结果。
- 基于情节化记忆的终身学习改进方案
本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II,这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合,调节旧任务和新任务之间的平衡,并通过新的损失平衡更新规则,极大地提高了性能,在四个常用的终身学习 - ICLR具备共享情节记忆的持续和多任务强化学习
本文介绍了一种神经架构 (SEM),其包含共享追忆存储器的模型,便于在多项任务中学习并顺序执行,实现持续学习和在同一环境中获取新技能的效果。
- 关于连续学习中微小情节记忆的研究
该研究实证分析了在连续学习过程中,引入极小的叙事性记忆在任务之间转移知识的有效性,并发现相较于特定的连续学习方法,该方法能利用极小的记忆显著提升泛化能力,对小样本问题有一定的启示。
- 少样本自我提醒克服灾难性遗忘
介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder(FSR),利用对旧任务的选定样本进行 logit 匹配,只需重新训练少量数据,就能在知识保留方面超过以往的方法,证明该方法在两个不同的连续 - 用于情节式知识图谱的嵌入模型
本文介绍了如何扩展静态知识图谱,使其适用于时间序列数据,以实现近似归纳推理。其中,提出的新型张量模型 ConT 在推理性能上表现出明显优势,同时还讨论了与我们的认知记忆有关的模型投影假设。
- 使用 Reservoir Sampling 将情景记忆集成到强化学习智能体中
该文研究了利用固定数量的过去状态来维护一个外部内存的新算法,使得深度强化学习代理能够在线记忆有用的状态,并可以在在线强化学习设置中实现梯度估计。
- 双存储循环自组织的时空表示的终身学习
本文提出了一种双存储自组织架构用于实现终身学习,其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络;通过在连续感官经历中扩展它们,这两个增长网络都能够提取出对未知数据更强的特征。
- ICML经验回忆元学习
本文提出了一种形式化的环境生成方法,以针对开放式任务分布下的元学习代理,旨在在重复性场景中探索其环境而不是立即利用以前发现的解决方案。使用可微分的神经元感性记忆改进了标准 LSTM 工作记忆的元学习体系结构,并进一步在带有重复任务的五种元学 - IJCAI情节记忆深度 Q 网络
本文提出了一种基于生物学启发的强化学习算法 Episodic Memory Deep Q-Networks(EMDQN),该算法利用情节内存来监督代理在训练过程中,实验表明我们提出的方法可以提高样本效率,更容易找到好策略,在 Atari 游 - NIPS持续模型学习的情节记忆
本研究探讨在具有有限内存容量的情境下,如何运用基于分层贝叶斯推断的模型选择,以及利用存储在记忆库中的数据解决模型选择中的基本问题。
- 无模型的情节控制
本文探讨海马海马记忆控制应用于深度加强学习,证明该应用比现有的加强学习算法更快地高效解决了一些复杂的连续决策任务。