CVPRJul, 2023
改进的分布匹配用于数据集浓缩
Improved Distribution Matching for Dataset Condensation
Ganlong Zhao, Guanbin Li, Yipeng Qin, Yizhou Yu
TL;DR通过分布匹配的方法，我们提出了一种新的数据集精简方法，有效地减少了计算资源的使用，使得数据集精简能够应用于更大的数据集和模型。
Abstract
dataset condensation aims to condense a large dataset into a smaller one
while maintaining its ability to train a well-performing model, thus reducing
the storage cost and training effort in deep learning applications. However,
conventional →
dataset condensationdistribution matchingoptimization-oriented methodscomputational resourceslarger datasets
发现论文，激发创造
数据集压缩与分布匹配
本研究提出了一种简单而有效的方法，通过在多个采样嵌入空间中匹配合成图像和原始训练图像的特征分布，综合减少了合成成本，同时实现了可比较或更好的性能，具有在实际大型数据集中应用以及在连续学习和神经结构搜索中表现出有希望的实际好处的潜力。
Oct, 2021
使用梯度匹配的数据集压缩
本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。
Jun, 2020
高效深度哈希检索：通过特征嵌入匹配压缩数据
本文提出了一种有效的压缩框架，该框架通过匹配合成集和真实集之间的特征嵌入来增强特征的多样性，并结合早期增强模型和多形态的策略，显著提高了性能和效率，比现有的基准方法都要优越。
May, 2023
DC-BENCH：数据集压缩基准测试
本研究提供了首个大规模的 Dataset Condensation 标准化基准，通过其生成的数据集全面反映了浓缩方法的通用性和有效性，并报告了许多有见地的发现，为未来的发展开辟了新的可能性。
Jul, 2022
DANCE: 双视图数据集收缩的双视图分布对齐
从内部和外部视角揭示了当前基于分布匹配的方法在持久化训练和分布偏移方面的局限性，提出了一种新的基于双视图分布对齐的数据集简化方法 (DANCE)，通过利用多个预训练模型来改进分布匹配，从而取得了状态的结果，并在保持与原始分布匹配相当的效率下实现了流行的性能。
Jun, 2024
加速超参数搜索的数据集压缩
本文提出了一种针对超参数搜索的新型超参数校准数据集压缩（HCDC）算法，通过匹配通过隐式微分和高效逆 Hessian 逼近计算的超参数梯度来生成合成的验证数据集，实验证明该框架有效地维持了模型的验证性能排名，并加速了基于图像和图形的超参数 / 架构搜索任务。
May, 2024