本文章提出了一种名为MetA Reusable Knowledge (MARK)的方法，通过元学习和可训练掩码，实现了在学习新任务时保留共享权重，以解决人工神经网络在学习时间问题上遇到的Catastrophic Forgetting问题，并在多个基准测试中实现了超越最佳方法10％以上的平均精度结果，几乎零遗忘率。

Jun, 2021

本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态-of-the-art自监督连续学习方法，且不会牺牲准确性。

Mar, 2023

通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

Sep, 2023

提出了一种通过量化数据一致性并引入新的损失函数来改进数据回放及类别增量学习的方法。在实验证明比以前的方法有更好的性能。

Jan, 2024

通过无限数量的标记样本，本研究探究重建型SSL的数据生成机制以揭示其有效性，提出了完美线性近似的充分必要条件，并通过低秩因子分解来度量冗余分量的近似质量，并结合过量风险分析，在线性回归和岭回归设置下验证了SSL与有监督学习的比较。

Feb, 2024

通过活跃数据过滤过程，在我们的新框架Duplicate Elimination (DUEL)中，在自监督预训练期间提出了一种成本高效的解决类别不平衡问题的机制。该框架集成了受人类工作记忆启发的活动记忆，并引入了数据多样性度量即独特性信息，以优化特征提取器和记忆。DUEL策略通过替换最多的重复数据样本来增强记忆中的独特性信息，从而减轻类别不平衡问题。我们验证了DUEL框架在类别不平衡环境中的有效性，并通过各种指标和可视化分析了DUEL策略在训练过程中的作用。

Feb, 2024

通过解释对比技术如SimCLR和非对比技术如BYOL、SWAV、SimSiam、Barlow Twins和DINO的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

Feb, 2024

通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

Apr, 2024

机器遗忘作为一项新兴的数据管理研究课题，旨在调整经过训练的模型以逼近一个排除了训练数据一部分的重新训练模型。我们提出了一般性的框架，即TARget-aware Forgetting（TARF），通过对遗忘数据进行退火梯度上升和对难以影响的剩余数据进行选择性梯度下降，使得额外任务能够主动遗忘目标概念而保留其余部分。通过在新引入的设置下进行各种实验，我们证明了TARF的有效性。

Jun, 2024

本研究关注自我监督学习中的过拟合问题及其对模型适应新任务能力的影响。通过实验，我们观察到过拟合在后期层和训练后期突发，而特征泛化则在早期层通过引入解除记忆机制（UMM）得以改善。研究表明，UMM显著提升了自我监督学习方法在下游任务上的泛化性能。

Oct, 2024