Jun, 2020

数据集蒸馏：学习标签而非图像

PDF
TL;DR针对数据集蒸馏的问题，我们提出了用合成标签来训练模型，比基于图像的方法更为有效；我们引入了更加鲁棒和灵活的元学习算法以及一种基于凸优化层的一阶策略，这种新算法可以提高模型的性能，并且可兼容各个优化器及不同的神经结构。我们的研究发现，标签蒸馏还能夸数据集应用，例如只通过合成标签的英文字母来训练以学习日文字母识别。
dataset distillationlabel distillationmeta-learningconvex optimization layersneural architectures
发现论文，激发创造
  • 软标签数据集蒸馏及文本数据集蒸馏

    通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了 2-4% 的准确率。

    Oct, 2019

  • 探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力

    该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

    Mar, 2024

  • 数据集压缩

    本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

    Nov, 2018

  • 数据集精炼中，一个标签胜过千张图片

    数据质量是机器学习模型性能的关键因素，数据集精馏方法通过将训练数据集压缩为保持相似下游性能的较小版本来利用数据质量。通过剔除实验，我们发现当前最先进的精馏方法的性能取决于使用软标签而不是生成合成数据的具体技术。此外，我们还发现软标签的有效性与每类图像的数量之间存在经验性规律，挑战了传统的数据集精馏方法，并提出了改进精馏方法的新方向。

    Jun, 2024

  • 数据集蒸馏学习是什么？

    数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动态相关信息来保持高任务性能。解释了精炼数据的框架和揭示了个体精炼数据点包含有意义的语义信息，从而更好地理解了精炼数据的复杂性及其有效利用。

    Jun, 2024

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 通过深度生成先验的数据集蒸馏泛化

    Dataset Distillation technique using learned prior of deep generative models and a new optimization algorithm improves cross-architecture generalization by synthesizing few synthetic images from a large dataset.

    May, 2023

  • 数据集精简遇见可证明的子集选择

    本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

    Jul, 2023

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023