论文探索了半监督持续学习方法，该方法能从标记数据中预测未标记数据的梯度，进而将未标记数据应用到有监督持续学习中。实验结果表明，未标记图像可以增强持续学习模型对未见数据的预测能力并显著缓解灾难性遗忘。
Jan, 2022
通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。
Apr, 2020
本文提出在不具备先前知识的情况下进行在线自我监督终身学习的问题设置，并提出了一种名为 Self-Supervised ContrAstive Lifelong LEarning without Prior Knowledge（SCALE）的解决方案，在非 iid 和单遍数据上具有出色的表现，实验结果显示其准确性优于最佳算法。
Aug, 2022
本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。
Apr, 2017
提出了一种利用标签中的语义信息提高数据利用率的新方法，通过构建一种标志为自然语言描述的语义图来训练辅助图神经网络，以提取高层语义关系并指导主模型的训练，在图像、视频和音频模态下，应用该方法在迁移学习和半监督学习场景中展示了显著提高性能的多样性，并且深入分析还表明该方法加速了训练过程。
Nov, 2023
论文介绍了跨语言寿命学习（CLL）挑战，其中模型不断进行微调以适应来自不同语言的新数据，分析了不同跨语言持续学习算法的知识保留，累积和泛化能力，并提供了如何测量和平衡不同跨语言持续学习渴求的菜谱。
May, 2022
大语言模型（LLMs）中的终身学习可以不断地适应和学习新知识，并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。
Jun, 2024
本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。
Nov, 2022
提出了一种新颖的强化学习引导的半监督学习方法 RLGSSL，将半监督学习视为一个老虎机问题，并通过加权奖励的创新 RL 损失来自适应地指导预测模型的学习过程，通过在多个基准数据集上进行广泛实验表明，相较于最先进的半监督学习方法，我们的方法始终具有更好的性能。
May, 2024
本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题，并提出了两种解决方案：一是进行自训练和周期性记忆重放；二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明，该方法在多个指标上优于基线方法。