- 具备成对层架构的任务不可知连续学习
通过使用基于静态架构的方法,本研究不依赖记忆重现、参数隔离或正则化技术,仅通过将网络的最后一层替换为成对交互层来改善连续学习性能,并使用 Winner-take-all 风格激活函数中的稀疏表示来发现隐藏层表示中的相关性,实验结果表明该架构 - CVPR编排潜在专业知识:通过多级监督和反向自蒸馏推进在线持续学习
在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法,通过多层监督和反向自蒸馏,培养模型为堆叠子专家,以实现学习新样本和保留过去知识的显著效果,大大提升 OCL - 结构知识驱动的持续多元时间序列预测
通过结构知识驱动的连续学习框架 (SKI-CL),在多元时间序列预测中,建立一个基于图结构学习的模型,并使用一致性正则化方案来优化预测目标,从而有效地处理不同阶段累积的多元时间序列数据,实现准确的预测和记忆依赖结构。
- 基于拓扑感知的嵌入记忆在扩展图上的学习
基于内存回放技术的研究已经在增量累积欧几里得数据的连续学习中取得了巨大成功。然而,直接将其应用于不断扩大的图表会导致潜在的内存爆炸问题,因为需要缓冲代表节点及其相关的拓扑邻域结构。为了解决这个问题,我们系统地分析了内存爆炸问题中的关键挑战, - 通用睡眠解码器:跨个体对齐清醒和睡眠神经表达
通过收集全面的电脑图谱(EEG)数据集并设计了 Universal Sleep Decoder(USD)模型,成功地在清醒状态和睡眠状态之间建立了神经表征,实现了对记忆重播的解码,提高了解码准确度。
- AdaER:一种自适应经验重播方法用于持续终身学习
AdaER 是一种用于解决持续终身学习中的灾难性遗忘挑战的新算法,通过引入 C-CMR 策略和 E-BRS 策略来选择性地重播与当前输入数据最矛盾的记忆,并最大化信息熵以提高记忆缓冲区的性能,进而在实验中表现出优于现有基准方法的持续终身学习 - 自适应分类标准在任务增量连续学习中缓解灾难性遗忘
本文介绍了一种用于持续学习的有监督对比学习框架,旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题,实验表明其表现优异。
- 通过生成回放自我恢复记忆
该研究介绍了一种新的神经网络架构,结合了生成回放和自适应神经元,可以自主地重新组织记忆,提高神经网络在持续学习过程中性能和记忆效率。
- 双存储系统中的稀疏编码用于终身学习
本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现,同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型,该模型可以减少遗忘。
- AAAI昨日之学:一种半监督的持续学习方法,用于受监督限制的文本到 SQL 任务流
本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题,并提出了两种解决方案:一是进行自训练和周期性记忆重放;二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明,该方法在多个指标上优于基线方法。
- ICML通过分布稳健的记忆演化来提升无任务连续学习
本研究提出了一种基于分布鲁棒优化和 Wasserstein 梯度流的原则性记忆演化框架,用于动态演化内存数据分布,以提高连续学习系统对非平稳数据流的适应性。同时,实验结果表明该方法能够提供更高的鲁棒性和抗干扰性,是一种有效防止遗忘的连续学习 - CVPR基于图形的空间变换器与记忆重放的多未来行人轨迹预测
本文提出了一种基于多尺度图形空间变换和记忆重现的轨迹平滑算法模型,可以在预测单一和多个未来路径的同时,综合利用空间信息并修正时间不一致的轨迹,同时还提出了一个新的评估指标来评估多轨迹预测的全面性。
- AAAI带有记忆回放的 Transformer
本文提出了一种记忆重放机制与 Transformer 相结合的方法,称为 Transformer with Memory Replay(TMR),在大规模文本语料库上预训练,使 Transformer 更具样本效率。在 GLUE 和 SQu - 内存重放与数据压缩结合的持续学习方法
本文提出了一种基于 DPP 的方法 - 记忆重放数据压缩(MRDC)来提高数据存储量以解决连续学习中过度遗忘过去的问题,并在多个任务上进行了验证,包括自动驾驶物体检测。
- EMNLP总结回忆:神经语义解析器的定制化持续学习方法
本论文探讨连续学习在语义解析中的应用方法,提出了一种面向神经语义解析器的连续学习方法 TotalRecall,通过多方面优化神经网络中的采样和分布平衡,以及采用两阶段训练方式,提高了神经网络在多任务间的泛化能力,实验结果表明这种方法优于目前 - MM自我优化的室内定位语义感知
提出了一种新颖的机器人系统,通过持续在线学习和自我监督来适应部署环境,解决了传统机器人学习固定模型的问题。实验结果表明,在语义感知领域的持续学习和回溯有助于降低遗忘风险,提高了分割和定位精度,相比部署固定模型,平均分割提高 60%,定位精度 - CVPR监督对比回放:在线类增量持续学习中重新审视最近类别均值分类器
提出使用最近中心点法(NCM)替代在在线学习中普遍使用的 Softmax 分类器以解决软最大值分类器导致的最近偏差问题,同时引入有监督对比重播(SCR)以更有效地利用 NCM 分类器,最终实验表明该方法大幅度减少了严重遗忘情况,并在各种数据 - AAAI基于对抗 Shapley 值的在线课堂增量式连续学习
本文为实现在在线数据流中不断学习新类别而进行的在线类增量设置而贡献了一种新的 Adversarial Shapley 值评分方法,该方法可以为记忆数据样本评分,以便维护先前观察类别的潜在决策边界(以保持学习稳定性和避免遗忘),同时干扰当前正 - 记忆重播生成对抗网络:学习生成新类别图像而不遗忘
本文针对生成模型中的遗忘问题,提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架,通过集成记忆重现生成器来缓解前几类的遗忘,在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明,该记