May, 2023

等变正则化在在线鲁棒持续学习中的有效性

PDF
TL;DR本研究提出了一种在线持续学习方法 CLER，通过等变性预处理任务进行自我监督，避免了 CSSL 技术的局限性，并与现有 OCL 方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。
continual learningself-supervised learningonline learningequivariant regularizationnetwork's information flow
发现论文，激发创造
  • 通过对比插值一致性进行持续的半监督学习

    本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

    Aug, 2021

  • 编排潜在专业知识：通过多级监督和反向自蒸馏推进在线持续学习

    在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

    Mar, 2024

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 广义变分续学习

    该论文研究了在线学习中的连续学习，并介绍了使用概率正则化技术的两种主要方法，其中 Variational Continual Learning (VCL) 通过引入 FiLM 层等技术，得到了更好的性能表现。

    Nov, 2020

  • 塑性优化的互补网络用于无监督连续学习

    通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

    Sep, 2023

  • 序列上的在线持续学习

    本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

    Mar, 2020

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 昨日之学：一种半监督的持续学习方法，用于受监督限制的文本到 SQL 任务流

    本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题，并提出了两种解决方案：一是进行自训练和周期性记忆重放；二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明，该方法在多个指标上优于基线方法。

    Nov, 2022

  • 具有渐进式任务相关层冻结的高效自监督连续学习

    本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

    Mar, 2023

  • 自适应正则化的基于不确定性的永续学习

    本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

    May, 2019