Mean Teacher是一种半监督学习方法，通过平均模型权重来稳定预测结果，在一些数据集上表现优于Temporal Ensembling，并能够显著减少所需的标签量。

Mar, 2017

通过在SGD轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA获得了CIFAR-10、CIFAR-100和ImageNet上多个最先进网络的显着测试精度提高，而且SWA实现简单、无几乎不需要计算成本。

Mar, 2018

AlphaMatch是一种高效的半监督学习方法，利用数据增强实现标签一致性，通过alpha-divergence使高置信度的数据优先接受正则化，使用基于优化的EM算法作为一致性的实现方式，可以在标准数据集上取得更好的表现。

Nov, 2020

本文提出了两种半监督学习的方法，第一种是将权重扰动方法（WP）应用到现有的一致性正则化（CR）方法中，第二种方法提出了一种新的一致性损失函数叫做“最大不确定性正则化”（MUR），实验结果表明，将VBI或MUR或两种方法结合使用可以明显提高各种CR方法的分类误差。

Dec, 2020

本研究提出了自适应一致性正则化的半监督学习和迁移学习模型，可以利用源域和目标域的强大预训练模型以及目标域的标记/非标记数据。在CIFAR-10、CUB-200和MURA等基准测试中，该模型的性能优于Pseudo Label、Mean Teacher和 FixMatch等半监督学习技术的表现，并且可以在MixMatch和FixMatch的基础上获得额外的提高。

Mar, 2021

本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

Jan, 2022

本文介绍了一种名为ConMatch的新型半监督学习框架，它在图像的两个强大的增强视图的模型预测之间智能地利用一致性正则化，权重由伪标签的置信度确定。该方法通过弱增强视图作为锚点，提出了新的伪标签置信度度量方法，包括非参数方法和参数方法。特别是，在参数方法中，我们首次提出在网络内学习伪标签置信度，可以端到端地与骨干模型一起训练。在现有的半监督学习中加入ConMatch可以持续提高性能，本文通过实验和大量的消融研究证明了ConMatch的有效性。

Aug, 2022

提出了一种称为Universal Semi-supervised Model Adaptation (USMA)的现实和具有挑战性的领域适应问题，该问题需要预训练的源模型，允许源域和目标域具有不同的标签集，并且在目标域中每个类别只需要少量标记样本。为了解决USMA问题，提出了一种协同一致性训练框架，通过在两个模型之间正则化预测一致性来结合它们的互补优势，以学习更强大的模型，并提出了一种基于样本和类别的一致性正则化方法来改善训练过程。在几个基准数据集上的实验证明了我们方法的有效性。

Jul, 2023

通过Boosting cOnsistency in duAl Training (BOAT)这种新颖的简单方法，在类别分布不匹配的情况下，提高了长尾半监督学习（LTSSL）算法在各种标准的LTSSL基准测试中的性能和测试精度。

Jun, 2024

提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明ASWA在模型和数据集上都能实现统计上更好的泛化。

Jun, 2024