本研究提出一种基于贝叶斯批量主动学习方法来解决大规模监督模型中标签获取成本高的问题，从而利用大量未标记数据来改善模型性能。此方法通过逼近模型参数的完整数据后验概率，并使用随机投影技术来推广到任意模型，从而使批处理的数据选择更加多样，有效降低了计算复杂度，并在多个大规模回归和分类任务上得到了证实。

Aug, 2019

该研究通过提出一种新的知识蒸馏目标，并利用一种被称为 “一致性” 的概念来选择前身模型作为教师，以减轻遗忘的知识。新的教师模型能够避免标签的遗忘，提高标记数据的不确定性 / 多样性，并弥补由人类注释器产生的有缺陷的标签。

Jan, 2022

本文研究知识迁移领域的另一种方法：Born-Again Networks (BANs)，将学生的参数与老师的相同， 来达到比老师更好的性能表现。在计算机视觉和语言建模任务中， BANs 表现出甚至比老师高出许多的性能得分，并且在各种规模的学生中，将知识从 DenseNets 到 ResNets 和反向传输，都显示出明显的优势

May, 2018

研究了一种高效的批量主动学习算法，该算法结合不确定性和多样性概念，在批量设置中易于扩展，并与先前研究中使用的批量大小（100K-1M）相比提高模型训练效率。同时，还证明了相关采样方法的标签复杂度保证，该方法在特定情况下几乎等同于我们的采样方法。

Jul, 2021

本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

Nov, 2020

基于知识蒸馏的深度学习模型在语义通信系统中提高了模型鲁棒性和泛化能力，减小了模型尺寸压缩时的性能损失。

Nov, 2023

本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

Apr, 2021

通过引入条件互信息的概念以提高知识蒸馏中教师对未知贝叶斯条件概率分布的估计，本文提出了一种称为最大条件互信息方法的新估计器。通过对教师进行最大条件互信息估计，能够捕捉到图像聚类中更多的上下文信息，从而在各种先进的知识蒸馏框架中使用通过最大条件互信息估计而不是最大对数似然估计的教师，在学生的分类准确率上获得持续提高，增益高达 3.32％。此外，研究还表明，这种提高在零样本和少样本情况下更为显著，当学生只有 5％的训练样本可用（少样本）时，准确率提高了 5.72％，在省略类别的情况下（零样本），准确率从 0％增加到高达 84％。

Jan, 2024

通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

Sep, 2023

本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

Apr, 2021