- CVPRHydra-MDP: 多模态、多目标的端到端计划生成的 Hydra 蒸馏
Hydra-MDP 是一种使用多个教师模型的新范例，使用来自人类和基于规则的教师的知识蒸馏来训练学生模型，具有多头解码器以学习适应各种评估指标的多样化轨迹候选，该方法在 Navsim 挑战中获得了第一名，并在各种驾驶环境和条件下显著提高了泛 - 使用教师 - 学生模型融合等距矩阵和球面表示的单目全景图像深度估计
使用教师 - 学生模型融合环形和球形表达的方法，开发了一种新的球形卷积核计算方法和分割特征融合（SFF）方法来提取特征，并使用教师 - 学生模型学习深度图像的潜在特征，从而实现对环形图像深度图的估计。在实验中，该方法在 360 度单眼深度估 - 用于真实世界人脸超分辨率的师生网络与边缘信息渐进嵌入
提出了一种考虑真实数据和合成数据之间领域差异的面向真实世界的人脸超分辨率教师 - 学生模型，通过使用循环网络中间输出逐步包含各种边缘信息，此方法在获取高质量的真实世界人脸超分辨率图像方面超越了现有的先进方法。
- DualTeacher：用于半监督增量目标检测中未标记类别的协同存在
半监督增量目标检测通过构建两个针对老和新类别的教师模型，并将它们的预测结果拼接起来指导学生模型，有效解决了监督较少的情况下新类别增量目标检测问题。
- 提升知识蒸馏与教师解释
我们提出了一种名为知识解释蒸馏（KED）的框架，通过引入超特征解释教师，允许学生不仅从教师的预测中学习，还从教师的解释中学习，以及使用卷积神经网络降低复杂性、隐藏表示蒸馏方法扩充和使用嵌套数据集来处理有限的训练数据，实验证明，KED 学生可 - 基于主题驱动的远程监督框架用于宏观层面的话语解析
通过使用主题结构和教师 - 学生模型的标签转换和 Oracle 注释，我们提出了一种远程监督的框架，用于解决在领域内和领域外任务之间间隔较大的问题。在 MCDTB 和 RST-DT 数据集上，我们的方法都表现出了最佳的性能。
- 基于伪目标训练的语言生成知识蒸馏系统研究
研究自然语言生成（NLG）中的知识蒸馏技术优化模型并生成具体的文本任务，提出伪目标（PT）数据增强方法并应用于双方产生的多个 PT 的词级 KD，从而有效地压缩模型。
- CoSDA: 持续无源域自适应
本文介绍了一种 CoSDA 的思想，它是基于源领域内训练的模型，利用一种新的一致性正则化方法来缓解遗忘，采用双速优化师生模型对目标领域进行了训练，并且在连续适应方面优于现有的方法。
- CVPR动态场景下的鲁棒性测试时间适应
本研究提出了一种适用于实际测试数据流的鲁棒测试时间自适应方法，其中包括批量归一化方案、内存库和师生模型，能够稳定地应用于动态实际应用场景中。
- 一种轻量级的遥感图像分类深度学习模型
本文研究了远程感应图像分类中的高性能、轻量级的深度学习模型，并通过知识蒸馏将教师引导下的最佳性能模型训练出较少复杂度的学生模型，实现了高性能。经过在 NWPU-RESISC45 基准的大量实验，证明了该方法胜过现有的最佳系统，并有潜力在多种 - 尊重知识蒸馏中的转移差距
该研究论文提出了一种新的逆概率加权蒸馏 (IPWD) 方法，用于解决知识蒸馏时两个领域之间数据分布不同的问题，该方法通过对样本的倾向得分估计进行加权，以弥补非独立同分布的数据中低频样本的不足，有效提高了知识蒸馏的准确度。
- 使用未标记的例子进行加权蒸馏
本文探讨了一种主要用于训练深度神经网络的知识蒸馏方法，其使用未标记的数据集作为输入。该方法提出了一种基于 “去偏” 方法的小网络共同训练框架，不需要超参数并且能在普遍学术数据集上展示出明显的改进效果。
- IJCAIUM4: 零资源神经机器翻译的统一多语教师 - 学生模型
本文提出了一种名为 UM4 的方法，该方法融合了源教师、目标教师和枢轴教师模型，指导学生模型进行零资源翻译，在 WMT 基准测试中实验结果表明，UM4 模型在 72 个方向上显著优于以前的方法。
- 无监督人员重识别的净化学习
该论文提出了一种无监督的个体重识别方法，通过伪标签训练并使用不同本地视图的多视图特征来丰富特征表示，同时利用教师模型的知识来减少噪声干扰，经过特征净化模块的处理，其无监督个体重识别表现优于目前最好的方法，特别是在 Market-1501 数 - 动态校正知识蒸馏
提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额 - 通过单类嵌入的反向蒸馏进行异常检测
提出了一种基于知识蒸馏的教师 - 学生（T-S）模型，利用反向蒸馏范式和可训练的单类瓶颈嵌入（OCBE）模块，从高级别到低级别的特征逐渐地传递知识，在 AD 和单类新颖性检测基准测试中实现了卓越的性能，提高了对异常检测和单类分类的准确性。
- AAAICL-NERIL: 一个用于印度语言命名实体识别的跨语言模型
通过利用英印平行语料库和英文命名实体识别数据集，在低资源背景下，提出了一种用于印度语言的命名实体识别端到端框架。该框架包括一种注释投影方法，利用源语言（英语）数据上的单词对齐分数和命名实体识别标记预测置信度得分生成目标印度语言中的弱标签数据 - ECCV剪枝模型优于压缩之后再蒸馏
本文提出了一种新的 “剪枝再蒸馏” 的框架，该框架在知识蒸馏中先对模型进行了剪枝以使其更易于转移，并且理论证明了剪枝后的教师模型在知识蒸馏中扮演了正则化器的作用，并减少了泛化误差。最后，我们提出了一种新的神经网络压缩方案，其中的学生网络是基 - CompRess: 通过压缩表示进行自监督学习
本研究展示了教师 - 学生模型压缩的有效性，通过将已经学习的大型深度自监督模型压缩到较小的模型，使得学生模型具有和教师模型相似的数据点嵌入空间，最终在 ImageNet 分类任务上获得了比监督学习方法更优秀的结果。
- ECCV局部标记组织病理图像自相似学生分割
本研究提出了一种基于教师 - 学生模型和相似性学习的自我相似度的方法，用于癌细胞区域分割。在 CAMELYON16 和 TVGH TURP 数据集上进行了实验，结果显示该方法在噪声标签下的性能优于现有技术和有监督的基线。此外，在临床组织病理