本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

Sep, 2019

Mean Teacher 是一种半监督学习方法，通过平均模型权重来稳定预测结果，在一些数据集上表现优于 Temporal Ensembling，并能够显著减少所需的标签量。

Mar, 2017

利用半监督物体检测方法 (SSOD) 的 Collaboration of Teachers Framework (CTF) 可以提高未标记数据的利用率，避免伪标签的循环数据流确认偏差，并且可以与其他主流 SSOD 方法集成。

May, 2024

介绍了使用 Kaizen 框架的半监督语音识别方法，该方法利用一个不断更新的教师模型为 ASR 生成伪标签，可用于不同培训准则，对于大规模的真实世界无监督公共英语和意大利语视频表现出 10% 以上的相对词误率（WER）降低。

Jun, 2021

本文介绍了如何将 Mean Teacher 泛化到分割任务，并表明该方法可以在公开数据集中显着提高分割性能，同时解决了传统数据增强策略在分割任务中出现的问题。

Jul, 2018

本文提出了一种新的基于知识蒸馏方法的半监督目标检测算法 (Temporal Self-Ensembling Teacher)，通过时间上的集成与损失函数中的一致性约束等方法提高了模型多样性和泛化能力，同时解决了数据分布不平衡和教师模型预测和学生模型预测高度相似产生的问题，在 VOC2007 数据集上取得了 80.73% 的 mAP 值，并在 COCO2014 数据集上达到了 40.52% 的 mAP 值，性能优于强有力的完全监督方法，并在 SSOD 目标检测领域取得了新的最优性能。

Jul, 2020

我们提出了一种基于师生对抗框架的半监督目标检测方法，使用区域提议和软伪标签作为学生的训练目标，并使用指数移动平均策略更新教师。相比于最近的最先进技术，我们的模型使用许多建议和软标签向学生暴露了更丰富的信息，并通过使用检测特定数据集合，使教师更可靠地生成伪标签。在 VOC07 验证集上达到了 53.04% 的 COCO-style AP，比 STAC 高出 8.4%，在 MS-COCO 上取得了优于以往工作的表现。

Jun, 2021

本文提出一种基于零、一阶知识的细分神经网络迁移学习教师 - 学生框架，将拥有更好表现的重型细分网络的知识转移到轻型细分网络上，提高了轻型网络的细分准确性，仍然保持快速特性，并经数据实验验证该框架可以显著提升学生网络性能。

Oct, 2018

提出了一种 PrevMatch 框架，通过最大化利用训练过程中获得的时间知识，有效地缓解了复杂的训练流程和计算负担所带来的限制，同时在各种评估协议上始终优于现有方法，特别是在 DeepLabV3 + 和 ResNet-101 网络设置下，在只有 92 个标注图像的 Pascal VOC 数据集上，与现有最先进方法 Diverse Co-training 相比，mIoU 提升了 1.6，同时训练速度增快了 2.4 倍，并且结果表明 PrevMatch 能够稳定地优化，特别适用于性能较差的类别。

May, 2024

夜间条件下的自动驾驶感知系统在光照不足和注释困难的情况下面临着巨大挑战。我们提出了一种双教师双向自训练框架，通过增量考虑风格和光照变化来减缓域间差距，以实现平滑的知识传输和反馈，从而在无监督域自适应中提高语义分割的性能。

Jan, 2024