- 揭示不完整模态脑肿瘤分割：利用掩蔽预测自编码器和发散学习
通过使用 masked predicted pre-training 和 knowledge distillation 技术，以及采用 Holder pseudo-divergence 代替 KLD 作为 distillation loss - 基于时空一致性的自蒸馏学习用于脉冲神经网络
脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习 - 利用自知识蒸馏引导帧级 CTC 对齐
通过引入自知识蒸馏方法，解决了自动语音识别中教师 - 学生模型帧级对齐不一致的问题，该方法使用共享编码器层并将子模型作为学生模型，提高了资源效率和性能，并通过实验证明了所提方法通过减少对齐不一致来改善性能。
- CVPR小规模无数据知识蒸馏
通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。
- DistilDoc: 视觉内容丰富文档应用的知识蒸馏
针对视觉丰富的文档应用（如文档布局分析和文档图像分类），本文探讨了知识蒸馏（KD）。通过设计一种 KD 实验方法，我们研究了不同架构和容量的骨干模型之间的知识传递策略对教师 - 学生知识差距的影响，并发现一些方法可以始终优于监督学生训练。此 - 教学中的不确定性：释放目标检测知识蒸馏的潜力
提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。
- CVPRHydra-MDP: 多模态、多目标的端到端计划生成的 Hydra 蒸馏
Hydra-MDP 是一种使用多个教师模型的新范例，使用来自人类和基于规则的教师的知识蒸馏来训练学生模型，具有多头解码器以学习适应各种评估指标的多样化轨迹候选，该方法在 Navsim 挑战中获得了第一名，并在各种驾驶环境和条件下显著提高了泛 - 基于互信息引导的事先训练编码器后门缓解
本文提出了一种名为 MIMIC 的互信息引导的后门缓解技术，通过知识蒸馏从潜在后门编码器中提取干净的学生编码器，以减轻后门攻击并同时保持编码器性能。在自我监督学习中对两个后门攻击进行的评估表明，MIMIC 可以显著降低攻击成功率，仅利用不到 - 大型语言模型的对抗性矩匹配蒸馏
通过匹配教师行为的行动 - 价值矩关系，我们提出了一种对大型语言模型进行知识蒸馏的模仿学习策略，使用对抗训练算法来同时估计行动 - 价值矩距离并优化学生模型的政策，以此最小化距离，并在任务无关和任务特定实验中取得了新的最优性能。
- 决策边界感知的知识整合产生更好的增量学习器
在实例增量学习中，我们定义了一种新的实用模型推广设置，通过仅使用新观察来提高模型性能，同时抵制灾难性遗忘和应对概念漂移问题，我们提出了一种新颖的决策边界感知蒸馏方法来整理知识，使教师模型成为更好的增量学习器，这颠覆了之前以学生模型为主要角色 - 微数据生成微模型：用于少样本蒸馏的文本和空白文本逆转
使用少量训练样本进行图像分类的研究涉及到利用知识蒸馏将高性能但计算速度较慢的模型的能力转移到小型高效模型上，通过使用合成数据来弥补数据不足，并利用扩散模型反演技术（TINT）和生成模型进行少样本蒸馏，达到接近先前研究的最高准确性，同时比先前 - ACLPLaD: 偏好基的大型语言模型压缩与伪优选对
本研究提出了一种名为 PLaD 的基于偏好的大型语言模型蒸馏框架，通过利用教师模型与学生模型之间的容量差异生成伪偏好对，使用排名损失重新校准学生模型对序列概率的估计，从而使学生模型更好地理解输出质量的相对优劣，而不是简单地模仿教师模型。通过 - DL-KDD: 暗光条件下行动识别的双光知识蒸馏
我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人 - 鲁棒即插即用适应性的解耦对齐
我们介绍了一种低资源安全增强方法，用于对齐大型语言模型（LLMs），无需受过监督的精调或来自人类反馈的强化学习。我们的主要思想是利用知识蒸馏从现有的良好对齐的 LLMs 中提取对齐信息，并以即插即用的方式整合到未对齐的 LLMs 中。通过使 - 基于特征方差的鲁棒知识蒸馏：抵抗带后门的教师模型
RobustKD 是基于特征差异的鲁棒知识蒸馏方法，通过压缩模型并减少学生模型和教师模型之间的特征差异，实现了学生模型的性能和后门缓解的双重目标。
- CVPR利用学习背景提示来发现开放词汇对象检测的隐含知识
提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优 - 改进校正流的训练
改进的矫正流训练方法在低 NFE 下能够与知识蒸馏方法竞争，实现了较高的图像生成质量和性能。
- 面向终身人员再识别的分布对齐语义适应
在本文中，我们提出了一种适应分布匹配语义调整（Distribution Aligned Semantics Adaption，简称 DASA）框架，通过有效地调整 BN 以减轻数据分布差异的干扰并冻结预训练的卷积层来保留共享知识，其显著降低 - 关系建模与蒸馏用于带噪声标签的学习
通过自我监督学习建模样本之间的关系，并采用知识蒸馏的方法增强对潜在关联的理解，从而缓解模糊标签的影响，该研究提出了一个处理噪声标签的关系建模和蒸馏框架，该框架能够学习具有噪声的数据的判别性表示，并取得比现有方法更优越的性能。
- 前向 - 后向知识蒸馏的持续聚类
在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。