本文提出一种基于零、一阶知识的细分神经网络迁移学习教师 - 学生框架，将拥有更好表现的重型细分网络的知识转移到轻型细分网络上，提高了轻型网络的细分准确性，仍然保持快速特性，并经数据实验验证该框架可以显著提升学生网络性能。

Oct, 2018

本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别，使用混合和主动学习等方法，从而在节省计算和数据集成本的同时保持高性能。

Mar, 2020

该研究提出了一种解决 AD 领域师生方法存在的问题的新方法 —— 不对称师生网络（AST），通过使用归一化流密度评估作为教师和传统前馈网络作为学生，以检测工业缺陷，并取得了关于图像级异常检测的最新成果。

Oct, 2022

为了精确检测每一时刻发生的细微行动，我们提出了一种锚点上下文行动检测网络（ACTNet），包括锚点上下文检测模块和类条件扩散模块，以回答以下问题：1）行动发生在哪里；2）行动是什么；3）如何进行置信度预测。我们的方法在外科手术视频数据集上表现出最新技术水平，相比基准线改进了 4.0％的平均精确度。

Oct, 2023

本文提出了一种简单而高效的竞争集成教师学生框架，用于从 3D MR 图像中半监督地分割左心房，通过利用无标记数据并提供可靠信息给教师模型，以实现不同学生模型之间的协作学习并达到更好的性能。通过在公开 Left Atrium（LA）数据集上评估，我们的方法在有效利用无标记数据方面取得了显著的性能提升，并优于几种现有的半监督方法。

Oct, 2023

本文研究了教师 - 学生学习的数据初始化问题，并提出了一种称为 Active Teacher 的新算法，用于半监督目标检测。Active Teacher 可以最大限度地利用有限的标签信息来提高半监督的性能。我们在 MS-COCO 基准测试上进行了大量实验，并将 Active Teacher 与一组最近提出的半监督目标检测方法进行了比较，结果表明 Active Teacher 具有较高的性能，并能够在大大减少标签预算的情况下实现完全监督性能，这对于实际应用的数据注释提供了有用的经验知识。

Mar, 2023

本研究提出了一种名为 DeSTSeg 的改进型模型，它将教师网络、降噪学生编码器 - 解码器和分割网络集成到一个框架中，包括去噪过程和丰富的监督，以实现对视觉异常检测的高效处理，实验结果表明在工业检测基准数据集上取得了最新成果。

Nov, 2022

提出了一种多样教学方法 AD-MT，以应对当前半监督医学图像分割模型中存在的确认偏差问题。AD-MT 包括一个学生模型和两个非可训练的教师模型，通过交替地进行动量更新来促使教学多样性。通过随机切换周期、数据增强和补充数据批次，RPA 模块调度交替的多样化更新过程，以鼓励从不同教学角度进行多样化推理。而 CCM 模块基于熵集成策略，鼓励模型从教师模型的一致和冲突预测中学习。实验证明 AD-MT 在各半监督设置下对 2D 和 3D 医学分割基准的有效性和优越性。

Nov, 2023

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

本文提出了 ACTION 模型，它是一种半监督医学图像分割的鲁棒性框架，通过 contrastive distillation 算法及主动采样罕见的负例像素达到了更好的分割效果，并且可以应对医学图像标记分布不均的问题。实验表明，ACTION 显著优于现有半监督方法的效果。

Jun, 2022