ICMLMay, 2024

SelMatch: 通过选择基础初始化和轨迹匹配的部分更新有效扩展数据集蒸馏

PDF
TL;DRSelMatch 是一种新颖的数据集精简方法，通过选择性初始化和轨迹匹配的部分更新，适应不同规模的 IPC，并在 CIFAR-10/100 和 TinyImageNet 数据集上从 5% 到 30% 的子集比率中始终胜过其他选择性筛选和仅精简方法。
发现论文，激发创造
  • 数据集精简的顺序子集匹配

    通过提出逐步子集匹配 (SeqMatch) 的数据集提炼策略，该研究解决了静态优化方法导致的合作问题，增强了性能，优于现有技术在多个数据集上的表现。

    Nov, 2023

  • 医疗数据集提炼的渐进式轨迹匹配

    我们提出了一种新的医学图像数据集精华方法，通过设计新的渐进轨迹匹配策略提高了医学图像数据集精华的训练稳定性，并通过动态消除不同图像之间的重叠来改善合成数据集的多样性和最终性能，进而在各种模态和配置上建立了一个新的医学图像数据集精华基准，实验证明我们提出的方法相比之前的最先进方法平均提高了 8.33%，当 ipc=2 时，提高了 11.7%。

    Mar, 2024

  • 通过匹配训练轨迹进行数据集蒸馏

    本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。

    Mar, 2022

  • 基于难度对齐轨迹匹配的无损数据集蒸馏

    开发一种能随着合成数据集规模增长而保持有效的新型数据集精馏方法，通过早期或晚期的轨迹匹配，成功将轨迹匹配方法扩展到更大的合成数据集，首次实现了无损数据集精馏。

    Oct, 2023

  • 使用恒定内存扩展到 ImageNet-1K 的数据集蒸馏

    本文研究了一种名为 MTT 的数据集压缩方法，提出了一种内存和时间更高效的轨迹匹配算法 TESLA，并且发现对于更大的数据集，为合成图像分配软标签至关重要。TESLA 在 ImageNet-1K 数据集上实现了 27.9% 的测试准确率，要比之前的方法高出 18.2% 的较大优势。

    Nov, 2022

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • 通过极小极大扩散实现高效数据集精炼

    通过使用生成扩散技术计算替代数据集，本研究提出了一种新的数据集提炼方法，以增强生成图像的代表性和多样性，并在要求更少计算资源的同时，实现了最新的验证性能。

    Nov, 2023

  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • 通过与平滑高质量专家轨迹的对齐实现高效的数据集精炼

    本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

    Oct, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023