本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

Oct, 2019

我们提出了一种平衡稳定性和可塑性的方法，称为 Branch-tuning，可以应用于不同的自监督学习方法，而无需修改原始方法、保留旧数据或模型。通过在各种基准数据集上进行渐进实验，验证了该方法在真实场景中的有效性和实用价值。

Mar, 2024

本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

Aug, 2021

本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

Mar, 2023

本研究提出了一种在线持续学习方法 CLER，通过等变性预处理任务进行自我监督，避免了 CSSL 技术的局限性，并与现有 OCL 方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。

May, 2023

自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确（与网络宽度无关）学习动态，证明了无限宽度逼近的 SSL 模型与监督模型的神经切向核逼近有明显偏差，数值实验证明了理论发现的正确性，并讨论了所呈现结果为对比和非对比 SSL 的进一步理论分析提供了框架。

Sep, 2023

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

Mar, 2022

本文提出了一个 semi-supervised learning (SSl) 的新方法：Mixture of Expert/Imitator Networks，该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布，从而提高 text classification 任务的性能，实验结果表明该方法可适用于多种深度神经网络模型，并且性能随未标记数据的增加而提高。

Oct, 2018

本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题，并提出了两种解决方案：一是进行自训练和周期性记忆重放；二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明，该方法在多个指标上优于基线方法。

Nov, 2022