- CVPR多源域自适应物体检测中的目标相关知识保留
本文提出了一种名为 TRKP 的方法，采用教师 - 学生框架，构建多头教师网络来从标记的源域中提取知识并指导学生网络在未标记的目标域中学习探测器，解决了多源领域适应这一泛化性任务的问题。实验结果表明，该方法有效降低了目标域的领域偏移，提高了 - ECCVLiDAR 蒸馏：弥合 3D 目标检测激光雷达束诱导的领域差距
本文提出了 LiDAR 蒸馏来弥补由于 3D 物体检测中不同 LiDAR 光束引起的领域差异问题，并通过实验表明该方法有效。
- CVPRX-Trans2Cap：使用 Transformer 进行跨模态知识转移的 3D 密集字幕生成
本研究提出一种名为 X-Trans2Cap 的 3D 密集字幕生成模型，通过跨模态知识转移实现对单模态 3D 字幕生成性能的有效提升，该模型使用 Transformer，并采用师生框架来构建。在实验中，通过对特征进行对齐和融合，提出的方法不 - 多语言蒸馏和零样本感知训练的跨语言文本分类
利用教师 - 学生框架从高性能的单语言模型中转移知识，构建了一个基于 MPLMs 的多语言分支模型（MBLM），并使用零射击感知的训练策略令模型从所有分支的零射击表示中学习，我们的方法仅使用任务的监督数据，提高了 MPLMs 的监督性能和零 - ICLRSPIRAL: 自监督扰动不变表示学习语音预训练
本研究提出了一种名为 SPIRAL 的语音预训练方法，它采用带噪数据的教师 - 学生框架学习去噪表示，通过对输入施加随机扰动来提高噪声鲁棒性，达到了与当前最优方法 wav2vec 2.0 相当或更好的性能并大幅降低了训练成本。
- 跨域适应目标检测教师
我们提出了自适应教师（AT）框架来解决使用教师 - 学生框架进行目标检测的半监督学习中由于域差异而产生的问题，AT 利用领域对抗学习和弱 - 强数据增强来缓解这一问题。
- 学习蒸馏协作图用于多智能体感知
该研究提出了一种基于教师 - 学生框架和较大自适应度的 distilled collaboration graph 和网络，使多代理协作感知的性能 - 带宽折衷达到一个更好的平衡，并且实验结果证明其在 3D 物体检测中表现更好。
- 黑盒翻录器：使用生成式进化算法复制黑盒模型
本文研究如何通过使用 teacher-student 的框架，以及应用进化策略来生成训练数据样本，以最小化准确率损失，从而复制黑盒神经模型的功能，并且在三个基准数据集上将我们的框架与几种基线和最先进方法进行了比较。
- ACL基于预期响应的响应生成中需求知识整合的记忆
该论文提出了一种基于教师 - 学生框架的方法，通过构建预期回复意识的文档记忆来提高会话信息性，在 CbR 任务中优于之前的最新技术。
- FEED: 特征级集成的知识蒸馏
FEED 是一种有效的知识蒸馏（knowledge distillation）方法，旨在通过特征映射级别的集成学习，将多个教师网络的知识传递给学生网络，提高其泛化能力，同时在测试时不引入额外的参数或计算。
- IJCAI多任务自监督学习知识蒸馏在视频分类中的应用
本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。
- 深度模型压缩：从带噪声的教师中提取知识
本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。