本文研究了软标签蒸馏对偏差-方差平衡的影响，发现软标签的训练在样本层面上影响偏差-方差的平衡，并提出了加权软标签方法以适应样本层面的偏差-方差平衡，实验证明该方法有效。

Feb, 2021

提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

Apr, 2021

本文提出了一种Self Supervised到Distillation (SSD)的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

Sep, 2021

该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

May, 2023

本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

Oct, 2023

通过提出逐步子集匹配 (SeqMatch) 的数据集提炼策略，该研究解决了静态优化方法导致的合作问题，增强了性能，优于现有技术在多个数据集上的表现。

Nov, 2023

利用数据集正规化技术(Dataset Distillation, DD)生成小规模的合成数据集，探究数据集偏倚对DD性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在DD过程中识别和减轻偏倚的必要性。

Mar, 2024

该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

Mar, 2024

使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在15个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Mar, 2024

本研究针对数据集蒸馏（DD）中缺乏理论探索的问题，提出了一种样本难度的理解方法。通过对样本难度的实证分析，发现优先合成原始数据集中较易样本可以显著提高蒸馏数据集的质量，并引入了样本难度修正（SDC）方法，可作为现有技术的插件应用。实验结果显示，SDC在七种蒸馏方法和六个数据集上均能生成更高质量的蒸馏数据集。

Aug, 2024