- 跨架构知识蒸馏促进卷积神经网络在高效单目深度估计中的应用
提出了一种名为 DisDepth 的跨体系结构知识蒸馏方法，用于增强具有卷积结构的高效卷积神经网络模型的性能，并且通过教师模型传递有价值的信息以改进单目深度估计的准确性。
- 在线推荐系统的检索与提取：一种无时序数据偏移的框架
在当前的推荐系统中，时间数据的转变构成了一个重要挑战。为应对数据转变，我们设计了一种使用检索技术的框架来利用转变的数据来训练相关性网络，并使用知识蒸馏将相关性网络的知识转移到参数化模块中，即搜索蒸馏模块。我们将这整个过程称为检索与蒸馏范式（ - BeSound: 蓝牙定位强化的跨模态蒸馏
使用蓝牙低功耗和超声波坐标结合的知识蒸馏方法，优化智能工厂中的员工追踪系统，提高生产效率和安全性。
- 图像分类的压缩元光学编码器
使用光学和混合卷积神经网络，结合知识蒸馏和元光学器件，实现对 MNIST 数据集的图像分类任务，在大幅度减少延迟和功耗的同时，保持了高达 93% 以上的分类准确度。
- 句级别还是词级别？关于知识蒸馏的综合研究
通过改进的混合方法，将知识蒸馏技术应用于神经机器翻译，以在不同的情境中提高模型性能和压缩模型。
- Wi-Fi AP 负载预测的分布式学习
通过研究分布式学习的两个基本方法 —— 联邦学习（FL）和知识蒸馏（KD）在 Wi-Fi 接入点（AP）负载预测用例上的应用，本文证明了分布式学习可以将集中式机器学习解决方案的预测准确性提高 93％，并将通信开销和能源成本降低 80％。
- IJCAIFedTAD: 面向子图联邦学习的拓扑感知无数据知识蒸馏
拓扑感知无数据知识蒸馏技术 (FedTAD) 可以解决子图异质性所带来的性能下降问题，通过优化局部 GNN 模型向全局模型的可靠知识转移，提高分布式图神经网络训练效果。
- MergeNet：跨异构模型、任务和模态的知识迁移
本研究主要关注异构知识传输，通过 MergeNet 模型和参数适配器实现跨不同模型结构、任务和模式的知识交互和应用，以及在异构知识传输中取得显著改进的实验结果。
- 动态温度知识蒸馏
介绍了一种动态温度知识蒸馏（DTKD）方法，通过量化模型输出分布的平滑度来为教师和学生模型分别确定样本特定的温度，从而在知识传递过程中提高性能。在 CIFAR-100 和 ImageNet-2012 上的实验证明，DTKD 在目标类和非目标 - KDk：垂直联邦学习中的标签推断攻击防御机制
通过应用我们的方法，我们提出了一种名为 KDk 的新颖框架，结合了知识蒸馏和 k - 匿名性，以在竖直分割数据的联邦学习（VFL）场景中提供对潜在标签推断攻击的防御机制，通过详尽的实验结果表明，我们的方法能够显著降低分析的标签推断攻击的性能 - GhostNetV3：探索紧凑模型的训练策略
在本文中，我们通过系统研究不同的训练方法，为紧凑型模型引入了一个强大的训练策略，发现改良的重新参数化和知识蒸馏的设计对于训练高性能的紧凑型模型至关重要，而一些用于训练常规模型的常用数据增强方法，如 Mixup 和 CutMix，会导致性能下 - MK-SGN: 基于脊柱的动作识别的融入多模态融合和知识蒸馏的脉冲图卷积网络
提出一种能减少能耗的脉冲图卷积网络，融合多模态数据和知识蒸馏，应用于基于骨架的动作识别，通过减少能量消耗来提高识别准确性。
- 可扩展流基主动蒸馏的相机聚类
我们提出了一个可扩展的框架，用于设计高效的轻量级视频目标检测模型，利用自训练和知识蒸馏技术。我们研究了从视频流中选择训练图像的理想方法和跨多个摄像头分享模型的效果。通过提倡一种摄像头聚类方法，我们旨在减少训练所需的模型数量，同时增加蒸馏数据 - 视觉 Transformer 模型压缩与加速综述
本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，解决了视觉 Transformer 在计算和内存需求方面的问题，并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效，证明了这些方法在模型精度和计算效率 - AI-KD: 面部图像质量评估中的对齐不变性：知识蒸馏方法
提出一种新的知识蒸馏方法 AI-KD，通过扩展现有的面部图像质量评估技术，提高其对于对齐变化的鲁棒性和性能，在多个面部数据集上进行实验证明，AI-KD 不仅在不对齐的样本上改善初始 FIQA 技术的性能，而且在正确对齐的面部图像上也取得了最 - MTKD：图像超分辨率的多教师知识蒸馏
我们提出了一种新颖的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率，通过结合和增强多个教师模型的输出来指导紧凑的学生网络的学习过程，并通过在空间和频率域中观察差异来优化训练过程，从而在超分辨率性能上实现了明显的改善。
- ReffAKD: 资源高效的基于自编码器的知识蒸馏
提出了一种新方法来提高知识蒸馏效率，同时不需要资源密集的教师模型。通过使用紧凑的自动编码器提取特征并计算不同类别之间的相似度得分，然后对这些相似度得分应用 softmax 函数以获得软概率向量，这个向量在学生模型的训练中作为有价值的指导。在 - 大型语言模型的全面评析和分析：范式和微调策略的导引
通过综述大型模型微调方法，该研究探讨了最新技术进展和在任务自适应微调、领域自适应微调、少样本学习、知识蒸馏、多任务学习、参数高效微调和动态微调等方面的高级方法的应用。
- 强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏
该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在 - CLIP-Embed-KD: 以嵌入向量作为教师的计算高效知识蒸馏
通过利用嵌入作为教师，我们扩展了 CLIP 用于高效进行知识蒸馏，初步结果表明，使用嵌入进行基于 CLIP 的知识蒸馏可以在使用少至 9 倍内存和 8 倍训练时间的情况下优于完整规模的知识蒸馏。