Jul, 2021

使用无限宽的卷积神经网络进行数据集蒸馏

HTML
PDF
TL;DR采用一种新的分布式基于核的元学习框架，使用无限宽的卷积神经网络，在数据集压缩中实现前沿的结果，通过对MNIST，Fashion-MNIST，CIFAR-10，CIFAR-100和SVHN等多个数据集的数据压缩进行初步分析，为数据如何与自然发生的数据不同提供了一些启示。
发现论文，激发创造
  • 数据集压缩

    本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

    Nov, 2018

  • 软标签数据集蒸馏及文本数据集蒸馏

    通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了2-4%的准确率。

    Oct, 2019

  • 数据集蒸馏: 学习标签而非图像

    针对数据集蒸馏的问题，我们提出了用合成标签来训练模型，比基于图像的方法更为有效；我们引入了更加鲁棒和灵活的元学习算法以及一种基于凸优化层的一阶策略，这种新算法可以提高模型的性能，并且可兼容各个优化器及不同的神经结构。我们的研究发现，标签蒸馏还能夸数据集应用，例如只通过合成标签的英文字母来训练以学习日文字母识别。

    Jun, 2020

  • 数据集精炼综述：方法、应用与未来方向调查

    该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

    May, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的ImageNet-1K和ImageNet-21K数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 关于精简数据集的多样性和真实性：一种高效的数据集精简范式

    用于大规模真实数据集的数据集压缩方法RDED能够在短短7分钟内将完整的ImageNet-1K压缩为每类只有10张图像的小型数据集，并在单个RTX-4090 GPU上以42%的Top-1精度实现了显著的性能提升（而目前最先进方法仅达到21%的精度，且需要6小时）。

    Dec, 2023

  • 分布式数据集蒸馏与子任务分解

    神经网络在从特定任务的数据集中进行训练时学到了什么？数据集精炼是合成这种知识的中心思想，我们提出了分布式数据集精炼（D3）方法，使用最小的充分类别统计信息，与解码器一起使数据集转化为一种更节省内存的分布式表示方法。通过对数据集进行分割、并行使用子任务专家进行精炼然后重新聚合的方式，我们提出了联邦精炼方法，以扩大学习这些表示的过程。我们对其进行全面评估，并在TinyImageNet和ImageNet-1K数据集上展示了其在三维度度量上达到了最先进结果。特别地，在每类存储预算为2张图片的情况下，我们在ImageNet-1K数据集上的结果优于先前的方法6.9%。

    Mar, 2024

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型(D3M)作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 基于深度支持向量的实用数据集蒸馏

    在实际场景中仅能访问整个数据集的一部分的情况下，我们提出了一种新的数据集提炼方法，通过添加深度KKT（DKKT）损失来增强传统过程中的一般模型知识。在CIFAR-10数据集上的实验表明，我们的方法在实际设置下相较于基线分布匹配提炼方法表现出更好的性能，并且我们还呈现了深度支持向量（DSVs）在原始提炼中提供了独特信息的实验证据，它们的整合结果提升了性能。

    May, 2024

  • 数据高效生成用于数据集蒸馏

    本研究解决了深度学习在图像任务中面临的数据存储和计算成本过高的问题。通过训练一个类条件潜在扩散模型，生成可读的合成图像，显著提升了数据集性能并减少了蒸馏时间。该方法在ECCV 2024的首个数据集蒸馏挑战中，CIFAR100和TinyImageNet数据集上取得了第一名的佳绩。

    Sep, 2024