BriefGPT.xyz
Jun, 2021
SPeCiaL：自监督预训练用于持续学习
SPeCiaL: Self-Supervised Pretraining for Continual Learning
HTML
PDF
Lucas Caccia, Joelle Pineau
TL;DR
本文提出了一种用于无监督预训练的方法SPeCiaL，旨在为连续学习定制表示。我们的方法通过序列学习过程差异化地制定了元学习目标，从而产生偏向于快速知识保留且遗忘最小化的表示。在连续小样本学习中，我们评估了SPeCiaL的性能，并展示它能够匹配或胜过其他有监督的预训练方法。
Abstract
This paper presents SPeCiaL: a method for
unsupervised pretraining
of representations tailored for
continual learning
. Our approach devises a
met
→