May, 2024

深度安全半监督学习下的多样化师生对应策略

PDF
TL;DR半监督学习能够通过利用未标记的数据显著提高模型性能，然而，现实世界的未标记数据往往包含看不见类别的样本，这可能阻碍对已知类别的分类。为解决这个问题，我们引入了一个名为 Diverse Teacher-Students (DTS) 的新型框架，该框架利用双师生模型分别有效处理这两个任务，通过训练两个师生模型使用所有未标记样本，DTS 能够提高已知类别的分类性能，同时改善看不见类别的检测。
发现论文，激发创造
  • 多功能教师：一种面向跨领域适应的课程感知教师 - 学生框架

    在跨领域目标检测中，本文引入了一种名为 Versatile Teacher (VT) 的新型教师 - 学生模型，通过考虑类别特定的检测难度并采用两步赋值机制，生成更可靠的伪标签，将其作为显著性矩阵来引导区分器进行有针对性的实例级对齐，取得了有希望的实验结果，并扩展了广泛使用的一阶检测器的对齐方法，具有重要的实际应用潜力。

    May, 2024

  • Dual Student: 半监督学习中打破教师限制

    本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

    Sep, 2019

  • 半监督双向师生学习在时变 CSI 下的室内存在检测中的应用

    本文提出双向师生网络进行半监督学习，利用部分标记数据和未标记数据集组合，增强损失函数，可测距离和熵等方法识别环境变化，适应各种复杂环境下的室内人体检测，相对于现有的 SSL 模型，可以在不使用标记数据的情况下达到最高检测精度并获得与 SL 方法相近的性能。

    Dec, 2022

  • 针对长尾半监督学习的不确定性感知采样

    基于不确定性感知的动态阈值选择 (UDTS) 方法解决了半监督学习中类别不平衡的问题，通过引入模型预测的不确定性来调整伪标签选择阈值，提高了模型在长尾类别上的准确性。

    Jan, 2024

  • 基于师生网络的半监督通用属性预测学习

    本文提出了一种多教师 - 单学生 (MTSS) 方法，通过使用标签嵌入技术，可以学习任务特定的领域专家，并通过迫使模型模仿领域专家所学习的分布方法，学习图像表示的有效方法，从而实现了对视觉属性预测问题的半监督学习。实验结果表明，该方法不仅在时尚属性预测的各种基准测试上取得了竞争性的性能，还提高了不可见领域的鲁棒性和跨域适应性。

    Jul, 2020

  • 基于不确定性感知的远程监督命名实体识别中的教师学习和学生协同学习

    提出了一种减轻标签噪声的 Distantly-Supervised Named Entity Recognition 方法，其中包括 Uncertainty-aware Teacher Learning 和 Student-student Collaborative Learning 两种技术。实验结果表明，该方法在五个 DS-NER 数据集上优于其他的 teacher-student 方法。

    Nov, 2023

  • 一种用于开放集半监督学习的多任务课程框架

    本文提出了一种多任务课程学习框架，旨在解决开放集合 SSL 中的未知样本问题，通过同时训练模型的正常分类能力和未知样本的检测能力，成功地消除了未知样本的影响。

    Jul, 2020

  • 半监督医学图像分割的备选多元教学

    提出了一种多样教学方法 AD-MT，以应对当前半监督医学图像分割模型中存在的确认偏差问题。AD-MT 包括一个学生模型和两个非可训练的教师模型，通过交替地进行动量更新来促使教学多样性。通过随机切换周期、数据增强和补充数据批次，RPA 模块调度交替的多样化更新过程，以鼓励从不同教学角度进行多样化推理。而 CCM 模块基于熵集成策略，鼓励模型从教师模型的一致和冲突预测中学习。实验证明 AD-MT 在各半监督设置下对 2D 和 3D 医学分割基准的有效性和优越性。

    Nov, 2023

  • DMT：多个自监督教师进行的全面蒸馏

    通过利用多个自监督模型的优势，压缩预训练模型，并在分类任务和密集任务中显著提高性能。

    Dec, 2023

  • 朝着真实的半监督学习

    本文提出一种基于伪标签的半监督学习方法，能够处理 open-world SSL 问题，并通过样本不确定性和类别分布先验知识等手段，为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好，特别是在 CIFAR-100，ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。

    Jul, 2022