- 关系建模与蒸馏用于带噪声标签的学习
通过自我监督学习建模样本之间的关系，并采用知识蒸馏的方法增强对潜在关联的理解，从而缓解模糊标签的影响，该研究提出了一个处理噪声标签的关系建模和蒸馏框架，该框架能够学习具有噪声的数据的判别性表示，并取得比现有方法更优越的性能。
- 前向 - 后向知识蒸馏的持续聚类
在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。
- BLSP-KD：通过知识蒸馏引导语言 - 语音预训练
通过知识蒸馏，BLSP-KD 通过两个关键技术来优化语音 - 文本对齐质量，实现细粒度对齐，同时还引入了 LLM 的适应方法 PLoRA，通过定量评估说明了 BLSP-KD 在扩展 LLMs 到口语交互方面的优势。
- 在紧凑空间中对齐：异构架构之间的对比知识蒸馏
基于低频部分的对比知识蒸馏框架能够更好地在异构架构下提取特征表示的共性。通过使用多尺度低通滤波器提取教师和学生模型中间特征的低频部分，并通过对比学习任务优化学生模型的特征区分度，该框架在 ImageNet-1K 和 CIFAR-100 数据 - LoReTrack: 高效准确的低分辨率 Transformer 跟踪
通过从冻结的高分辨率 Transformer 追踪器中进行双重知识蒸馏，采用低分辨率输入来增强低分辨率 Transformer 追踪的性能，从而实现高效率和精度的 LoReTrack 追踪器。
- UniCompress：基于知识蒸馏的多数据医学图像压缩增强
通过使用一种名为 ``UniCompress'' 的新方法，我们扩展了医学图像压缩领域的 Implicit Neural Representation（INR）网络的压缩能力，该方法首次使用一个 INR 网络压缩多个医学数据块。我们的研究引 - 利用知识蒸馏在多个遥感数据集上进行部分多任务学习
本文旨在提出一种基于知识蒸馏的部分多任务学习方法，以克服在缺乏所有任务标注的情况下进行全面多任务学习的次优性，并通过在航空图像中进行的对象检测和语义分割等语义任务的实验验证了该方法的有效性。
- 利用群组并行联邦学习提升客户参与度
通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行 - ICML异构客户的循环早期退出联邦学习
联合学习模型中，为了解决客户端硬件要求的不同挑战，本文提出了一种名为 ReeFL 的循环早期退出方法，通过融合不同子模型的特征到一个共享分类器中，利用基于 Transformer 的早期退出模块更好地利用多层次特征表示进行任务预测，并调节主 - CVPR高效多任务密集预测器通过二值化
利用网络二值化和知识蒸馏机制加快多任务密集预测模型的速度，同时保持甚至提高模型性能。
- 基于扩散生成记忆的无数据联邦类增量学习
本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。
- 为什么不将聊天型大语言模型转换为非英语？
非英语大型语言模型（LLM）的稀缺性限制了其发展。将英语中心的 LLM 转化为非英语被认为是一种有效且资源高效的方法。我们介绍了一个名为 TransLLM 的简单框架，针对聊天型 LLM 转化问题提出了两个关键问题并给出解决方案。通过使用翻 - MM多解码器与知识蒸馏的流式与非流式自动语音识别的联合优化
本文通过使用多解码器和知识蒸馏来实现流式和非流式自动语音识别（ASR）的联合优化，主要研究了 ASR 模块的编码器整合、分离解码器以实现灵活切换模式，以及通过两个模块化编码器和解码器之间的相似性保持知识蒸馏来提高性能。评估结果显示，在单一模 - 探索在不同教师能力下的暗知识，并解决能力不匹配问题
知识蒸馏技术可以将性能出众且庞大的神经网络的 “深层知识” 传递给性能较弱但轻量级的网络。该研究深入探讨了具有不同容量的教师所提供的深层知识，从输出对数和软化概率的角度进行分析，并通过丰富的实验研究验证了观察结果。研究发现不同容量的教师在对 - AMFD: 自适应多模态融合的多光谱行人检测
多光谱行人检测中，采用自适应模态融合蒸馏（AMFD）框架，可有效利用原始模态特征，通过模态提取对齐模块提供学生网络的学习权重，进而独立于教师网络获得最佳融合策略，并在 KAIST、LLVIP 和 SMOD 数据集上实验证明了该方法在降低漏检 - 基于知识聚合和蒸馏的主动目标检测
提出了一种基于知识集成和知识蒸馏的活动物体检测方法，通过提供关于物体相关的可行交互信息来改善活动物体检测，实现了当前最先进的性能。
- 蒸馏剪枝：一种用于边缘设备上实时立体匹配网络的高效压缩框架
通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。
- 跨领域知识蒸馏在低分辨率人体姿势估计中的应用
通过知识蒸馏实现不同分辨率模型的性能提升，包括构建一个跨领域知识蒸馏框架，以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图，进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在 MPII 和 COCO 两个 - ICML通过合成锚点克服分散式联合学习中的数据和模型异质性
我们提出了一种名为 DeSA 的新型分散式联邦学习（FL）技术，通过引入合成锚点来解决分散式 FL 中的数据和模型异质性管理问题，并在领域自适应和知识蒸馏理论基础上从理论和实证上展示了其有效性。
- 稠密提取累积知识用于连续学习
连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善，该方法可以在所有任务间蒸馏累积知识，提高模型的稳定性。