Mar, 2024

探索数据集偏差对数据集提炼的影响

PDF
TL;DR利用数据集正规化技术 (Dataset Distillation, DD) 生成小规模的合成数据集，探究数据集偏倚对 DD 性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在 DD 过程中识别和减轻偏倚的必要性。
dataset distillationdataset biassynthetic datasetbiased datasetsperformance
发现论文，激发创造
  • 组分布稳健数据集蒸馏及风险最小化

    通过结合聚类和风险度量的最小化算法，实现数据集精炼，具备对子群体的有效泛化和稳健性，为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。

    Feb, 2024

  • 通过模型增强加速数据集蒸馏

    本研究旨在通过生成高质量的人工合成数据集，从而提高数据集的效率，我们提出了两种模型增强技术，使用早期模型和权重扰动学习具有显著减少培训成本的信息化合成集。实验结果表明，我们的方法达到了最先进的基线方法的速度提升达到 20 倍，并且性能相当。

    Dec, 2022

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • MIM4DD：数据集精炼的互信息最大化

    我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。

    Dec, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 走向可靠的数据集提纯

    通过同时考虑数据集精简和外部样本检测，我们提出了一种称为可信数据集精简的新范例，通过提取内部样本和异常样本，精炼的数据集可以训练能够进行内部分类和外部样本检测的模型。

    Jul, 2023

  • 课程数据蒸馏

    本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。

    May, 2024

  • 使用 Wasserstein 度量的数据集精馏

    利用 Wasserstein 距离进行数据集简化，通过嵌入合成数据到预训练分类模型的特征空间进行分布匹配，实现了数据集简化的新的最先进性能。

    Nov, 2023