Dual Student: 半监督学习中打破教师限制

ICCVSep, 2019

Dual Student: 半监督学习中打破教师限制

Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning

Zhanghan Ke, Daoye Wang, Qiong Yan, Jimmy Ren, Rynson W.H. Lau

TL;DR本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

Abstract

Recently, consistency-based methods have achieved state-of-the-art results in semi-supervised learning (SSL). These methods always involve two roles, an explicit or implicit teacher model and a student model, and

consistency-based methods semi-supervised learning dual student stabilization constraint ssl benchmarks

发现论文，激发创造

临时教师切换半监督语义分割

该研究论文介绍了一种名为双教师的简单而有效的方法，利用双临时教师解决了学生和教师权重耦合的问题，通过定期生成伪标签训练学生模型并保持不同特征，以显著缩短训练时间，并证明了该方法适用于各种模型。

Oct, 2023

教师协作的半监督目标检测

利用半监督物体检测方法 (SSOD) 的 Collaboration of Teachers Framework (CTF) 可以提高未标记数据的利用率，避免伪标签的循环数据流确认偏差，并且可以与其他主流 SSOD 方法集成。

May, 2024

深度安全半监督学习下的多样化师生对应策略

半监督学习能够通过利用未标记的数据显著提高模型性能，然而，现实世界的未标记数据往往包含看不见类别的样本，这可能阻碍对已知类别的分类。为解决这个问题，我们引入了一个名为 Diverse Teacher-Students (DTS) 的新型框架，该框架利用双师生模型分别有效处理这两个任务，通过训练两个师生模型使用所有未标记样本，DTS 能够提高已知类别的分类性能，同时改善看不见类别的检测。

May, 2024

DualMatch：具有双层交互的鲁棒半监督学习

提出了一种名为 DualMatch 的新型半监督学习方法，其中类别预测以双层交互方式调用特征嵌入，通过一致的正则化确保不同的增强视图受到一致的类别预测约束，并确保同一类别的不同数据具有类似的特征嵌入，实验证明了 DualMatch 的有效性。

Oct, 2023

谦逊的教师能更好地教授半监督物体检测的学生

我们提出了一种基于师生对抗框架的半监督目标检测方法，使用区域提议和软伪标签作为学生的训练目标，并使用指数移动平均策略更新教师。相比于最近的最先进技术，我们的模型使用许多建议和软标签向学生暴露了更丰富的信息，并通过使用检测特定数据集合，使教师更可靠地生成伪标签。在 VOC07 验证集上达到了 53.04% 的 COCO-style AP，比 STAC 高出 8.4%，在 MS-COCO 上取得了优于以往工作的表现。

Jun, 2021

规模化半监督视觉 Transformer 模型

该研究探讨了图像 Transformer（ViT）的半监督学习（SSL），提出了一种新的 SSL 流程和一种概率伪混合机制，Semi-ViT 可以实现与卷积神经网络相媲美或更好的性能，并且具有可扩展性。

Aug, 2022

双重不确定性加权半监督学习方法

本文提出了一种基于师生模型的双不确定加权半监督分割方法，其中老师模型通过对标签和未标签数据的不一致预测惩罚来指导学生模型，我们使用贝叶斯深度学习训练教师模型，这是首次将分割不确定性延伸到特征不确定性，我们设计了可学习的不确定性一致性损失以在预测和不确定性之间以交互方式进行无监督学习，并通过定性和定量分析验证了所提出的特征不确定性和损失函数的有效性，实验结果表明，我们的方法在两个公共医学数据集上优于现有的基于不确定性的半监督方法。

Oct, 2020

半监督双向师生学习在时变 CSI 下的室内存在检测中的应用

本文提出双向师生网络进行半监督学习，利用部分标记数据和未标记数据集组合，增强损失函数，可测距离和熵等方法识别环境变化，适应各种复杂环境下的室内人体检测，相对于现有的 SSL 模型，可以在不使用标记数据的情况下达到最高检测精度并获得与 SL 方法相近的性能。

Dec, 2022

导师越严格，表现越优秀：加权一致性目标提升半监督深度学习结果

Mean Teacher 是一种半监督学习方法，通过平均模型权重来稳定预测结果，在一些数据集上表现优于 Temporal Ensembling，并能够显著减少所需的标签量。

Mar, 2017

基于师生学习的快速分割方法改进

本文提出一种基于零、一阶知识的细分神经网络迁移学习教师 - 学生框架，将拥有更好表现的重型细分网络的知识转移到轻型细分网络上，提高了轻型网络的细分准确性，仍然保持快速特性，并经数据实验验证该框架可以显著提升学生网络性能。

Oct, 2018