Aug, 2024

样本不应平等使用：理解和改善数据集蒸馏

HTML
PDF
TL;DR本研究针对数据集蒸馏（DD）中缺乏理论探索的问题，提出了一种样本难度的理解方法。通过对样本难度的实证分析，发现优先合成原始数据集中较易样本可以显著提高蒸馏数据集的质量，并引入了样本难度修正（SDC）方法，可作为现有技术的插件应用。实验结果显示，SDC在七种蒸馏方法和六个数据集上均能生成更高质量的蒸馏数据集。
发现论文，激发创造
  • 软标签数据集蒸馏及文本数据集蒸馏

    通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了2-4%的准确率。

    Oct, 2019

  • 数据集精炼综述：方法、应用与未来方向调查

    该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

    May, 2023

  • DataDAM：高效数据集提炼与注意力匹配

    采用高效的数据集提炼技术(DataDAM)，通过匹配真实数据和合成数据的不同层级生成的空间关注图，我们在多个数据集上实现了最先进的性能同时降低了训练成本。

    Sep, 2023

  • DREAM+：双向代表匹配的高效数据集精炼

    通过双向代表性匹配的数据集提炼策略（DREAM+），选择代表性的原始图像进行匹配，并且在不影响性能的情况下，显著减少了数据集提炼迭代的次数。

    Oct, 2023

  • 数据集精简的顺序子集匹配

    通过提出逐步子集匹配 (SeqMatch) 的数据集提炼策略，该研究解决了静态优化方法导致的合作问题，增强了性能，优于现有技术在多个数据集上的表现。

    Nov, 2023

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的GPU内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • 探索数据集偏差对数据集提炼的影响

    利用数据集正规化技术(Dataset Distillation, DD)生成小规模的合成数据集，探究数据集偏倚对DD性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在DD过程中识别和减轻偏倚的必要性。

    Mar, 2024

  • 数据集精炼中，一个标签胜过千张图片

    数据质量是机器学习模型性能的关键因素，数据集精馏方法通过将训练数据集压缩为保持相似下游性能的较小版本来利用数据质量。通过剔除实验，我们发现当前最先进的精馏方法的性能取决于使用软标签而不是生成合成数据的具体技术。此外，我们还发现软标签的有效性与每类图像的数量之间存在经验性规律，挑战了传统的数据集精馏方法，并提出了改进精馏方法的新方向。

    Jun, 2024

  • 长尾数据集的蒸馏

    本研究针对长尾数据集在数据蒸馏中的困难进行分析，提出了一种新的长尾数据集蒸馏方法（LAD）。该方法通过避免直接匹配偏倚专家轨迹和联合匹配骨干网络与分类器来提升尾部类别的表现，显著改善了长尾数据集的蒸馏效果，具有重要的应用潜力。

    Aug, 2024

  • 基于第一原则的数据集蒸馏：整合核心信息提取和有目的的学习

    本研究解决了数据集蒸馏（DD）理论支持不足的问题，提出了一种正式的DD模型，强调了在个别应用中针对特定推断任务的优化问题的必要性。通过系统分析现有DD方法的优缺点，我们展示了DD在医学数据分析与物理信息神经网络等领域的新应用，可能对新技术的发展产生深远影响。

    Sep, 2024