Jan, 2023

持续学习的灵活混合方法：建模、正则化和重放

PDF
TL;DR本文提出了一种名为 “Architect, Regularize and Replay”（ARR）的混合通用算法，其结合了架构先验、正则化器和回放策略，可在各种数据分布转移或样本选择偏差的情况下灵活适用，并在经典场景（如分类增量学习）以及来自 CIFAR-100，CORe50 和 ImageNet-1000 等真实世界数据集的任意数据流中实现了最先进的结果。
machine learningrepresentation learningcomputational approachesvarious distributional shiftshybrid solutions
发现论文，激发创造
  • 基于时间感知正则化的生成式经验回放的类增量学习

    在严格的条件下，通过使用生成回放、模型大小控制、时态正则化等方法，本研究提出了一种脑启发式的持续学习方法，以解决累积学习中遗忘问题，并在重要基准测试中取得了较好的实验结果。

    Oct, 2023

  • 生成回放与反馈连接作为连续学习的通用策略

    本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

    Sep, 2018

  • 实时连续学习的潜在回放

    本文提出了一种称为 “隐式回放” 的技术，该技术可以在边缘计算和嵌入式设备上有效地训练复杂的神经网络模型，并利用连续学习技术实现了较高的自适应性和自主性。我们的实验表明，结合现有的连续学习技术，隐式回放在复杂视频基准测试方面取得了最先进的性能，并且在智能手机上部署该技术可以实现几乎实时的连续学习。

    Dec, 2019

  • 大规模持续学习中重放记忆的有效性

    本研究提出了一种新的压缩激活重放技术，以中间层激活的重放增强深度模型的正则化效果，它在大规模任务、分裂 - CIFAR 和分裂 - miniImageNet 数据集上均有显着效果。

    Oct, 2020

  • 连续学习的绝热重演

    这篇论文提出了一种称为 Adiabatic Replay 的新颖学习策略，它可以在避免灾难性遗忘的同时，仅回放与新数据相似的旧数据样本，并且可以利用 GMM 模型高效地更新旧数据模型，实验结果证明了这种方法在连续学习方面的有效性。

    Mar, 2023

  • 自适应行为正则化的离线强化学习

    本文提出了自适应行为正则化（ABR）的方法改善已有机器学习数据集中存在的行为采样偏差，从而提高了离线强化学习的效率和稳定性，并在 D4RL 数据集上实现了最新算法中更好或相当的性能。

    Nov, 2022

  • 在线连续学习中减少突变表示变化的新见解

    本研究提出了一种基于经验回放的在线连续学习方法，该方法使用不对称更新规则，使得新类别能够更好地适应先前观察到的类别，并在标准连续学习基准测试中获得显著的性能提升。

    Mar, 2022

  • ARCH: 高效具有缓存的对抗正则训练

    提出 ARCH 方法，与传统方法相比较大地减小计算负担，并对自然语言处理中的一些任务进行了评估。

    Sep, 2021

  • 基于对抗性韧性学习架构的复杂智能建模，探索和运行复杂的网络物理系统

    本文介绍了 Adversarial Resilience Learning（ARL）概念，其定义了两个代理类，即攻击者和防御者，这两个代理机器人在没有任何领域知识的情况下互相探索和训练，并且可以使用广泛的模型自由和模型基础的深度强化学习算法，例如在复杂的电力网络上运行实验，以实现复杂环境下的检查和弹性运行。

    May, 2020

  • 批评正则化回归

    本文提出了一种基于评价器正则化回归算法（CRR）的新型离线强化学习算法，它能够在高维状态和动作空间下解决固定数据集的离线学习问题，在广泛的基准任务上表现出优越性能。

    Jun, 2020