ICLRApr, 2021
自监督预训练在流数据中的表现如何?
How Well Does Self-Supervised Pre-Training Perform with Streaming Data?
Dapeng Hu, Shipeng Yan, Qizhengqiu Lu, Lanqing Hong, Hailin Hu...
TL;DR本文探讨了流式自监督预训练在序列学习下的效果,使用对 ImageNet 和 DomainNet 的四个类别的数据进行预训练,表明流式自监督预训练是联合预训练的有效替代方案,并解决了序列监督学习中常见的灾难性遗忘问题,实现了在实践中更广泛的应用场景。