使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

Nov, 2023

本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

Jul, 2023

本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

Nov, 2018

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

Mar, 2024

神经网络在从特定任务的数据集中进行训练时学到了什么？数据集精炼是合成这种知识的中心思想，我们提出了分布式数据集精炼（D3）方法，使用最小的充分类别统计信息，与解码器一起使数据集转化为一种更节省内存的分布式表示方法。通过对数据集进行分割、并行使用子任务专家进行精炼然后重新聚合的方式，我们提出了联邦精炼方法，以扩大学习这些表示的过程。我们对其进行全面评估，并在 TinyImageNet 和 ImageNet-1K 数据集上展示了其在三维度度量上达到了最先进结果。特别地，在每类存储预算为 2 张图片的情况下，我们在 ImageNet-1K 数据集上的结果优于先前的方法 6.9%。

Mar, 2024

该论文在新兴的数据集精华领域将数据集提炼的过程从传统的像素空间转移到潜变空间，通过使用预训练的通用自动编码器对潜变空间中的潜变编码进行编码，从而解决高时间复杂度、高空间复杂度和低信息紧凑性的问题，以显著降低时间和空间开销，提高性能。

Nov, 2023

提出了一种无需训练集的知识蒸馏方法，仅利用预训练模型释放的一些额外元数据，就能将大规模数据集上训练的深度神经网络压缩到其大小的一小部分，并探索了可用于该方法的不同类型的元数据以及使用它们所涉及的权衡。

Oct, 2017

数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动态相关信息来保持高任务性能。解释了精炼数据的框架和揭示了个体精炼数据点包含有意义的语义信息，从而更好地理解了精炼数据的复杂性及其有效利用。

Jun, 2024

本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减小时的性能退化问题，实验结果表明，DisCo 在所有轻型模型上取得了最先进的性能，并且在部署过程中不会引入任何额外的参数。

Apr, 2021