Dec, 2023

关于精简数据集的多样性和真实性：一种高效的数据集精简范式

HTML
PDF
TL;DR用于大规模真实数据集的数据集压缩方法RDED能够在短短7分钟内将完整的ImageNet-1K压缩为每类只有10张图像的小型数据集，并在单个RTX-4090 GPU上以42%的Top-1精度实现了显著的性能提升（而目前最先进方法仅达到21%的精度，且需要6小时）。
发现论文，激发创造
  • 数据集压缩

    本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

    Nov, 2018

  • 软标签数据集蒸馏及文本数据集蒸馏

    通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了2-4%的准确率。

    Oct, 2019

  • 使用无限宽的卷积神经网络进行数据集蒸馏

    采用一种新的分布式基于核的元学习框架，使用无限宽的卷积神经网络，在数据集压缩中实现前沿的结果，通过对MNIST，Fashion-MNIST，CIFAR-10，CIFAR-100和SVHN等多个数据集的数据压缩进行初步分析，为数据如何与自然发生的数据不同提供了一些启示。

    Jul, 2021

  • 数据集精炼综述：方法、应用与未来方向调查

    该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

    May, 2023

  • 数据集精炼的全面研究：性能、隐私、鲁棒性和公平性

    通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

    May, 2023

  • 从大型矿石中提炼金：通过关键样本选择实现高效数据集精馏

    本文提出了一种基于信息理论和样本价值的新的数据集精简方法，经过全面的数据选择分析，该方法能够极大的降低训练成本，扩展现有的精简算法到更大规模、更多元化的数据集上，并且能够在多种不同类型的数据集上持续提高性能。

    May, 2023

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的ImageNet-1K和ImageNet-21K数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 课程数据蒸馏

    本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。

    May, 2024

  • 数据高效生成用于数据集蒸馏

    本研究解决了深度学习在图像任务中面临的数据存储和计算成本过高的问题。通过训练一个类条件潜在扩散模型，生成可读的合成图像，显著提升了数据集性能并减少了蒸馏时间。该方法在ECCV 2024的首个数据集蒸馏挑战中，CIFAR100和TinyImageNet数据集上取得了第一名的佳绩。

    Sep, 2024