Mar, 2024
编排潜在专业知识:通过多级监督和反向自蒸馏推进在线持续学习
Orchestrate Latent Expertise: Advancing Online Continual Learning with
Multi-Level Supervision and Reverse Self-Distillation
TL;DR在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法,通过多层监督和反向自蒸馏,培养模型为堆叠子专家,以实现学习新样本和保留过去知识的显著效果,大大提升 OCL 性能。