对比信号的数据集压缩

ICMLFeb, 2022

Dataset Condensation with Contrastive Signals

Saehyung Lee, Sanghyuk Chun, Sangwon Jung, Sangdoo Yun, Sungroh Yoon

TL;DR本文提出了一种使用对比信号的数据集精简方法，被称为 Dataset Condensation with Contrastive signals (DCC)，通过修改损失函数使得 DC 方法能够有效捕捉类之间的差异，实验结果表明 DCC 方法在细粒度图像分类和不断学习任务上表现出了优越性。

Abstract

Recent studies have demonstrated that gradient matching-based dataset synthesis, or dataset condensation (DC), methods can achieve state-of-the-art performance when applied to data-efficient learning tasks. However, in this study, we prove that the existing DC methods can perform worse

dataset condensation contrastive signals optimization fine-grained image classification continual learning

发现论文，激发创造

使用梯度匹配的数据集压缩

本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。

Jun, 2020

通过一步梯度匹配压缩图

本文提出了一种基于概率图模型和单步梯度匹配的高效数据集压缩方法，能够在保持性能的前提下将数据集大小缩减 90%。

Jun, 2022

数据集压缩与分布匹配

本研究提出了一种简单而有效的方法，通过在多个采样嵌入空间中匹配合成图像和原始训练图像的特征分布，综合减少了合成成本，同时实现了可比较或更好的性能，具有在实际大型数据集中应用以及在连续学习和神经结构搜索中表现出有希望的实际好处的潜力。

Oct, 2021

通过双域匹配实现时间序列分类的数据集压缩

提出了一种名为 CondTSC 的新框架，通过在时间和频率领域匹配代理目标，结合多视角数据增强、双域训练和双代理目标，以增强时间序列分类数据压缩过程的效果，并证明其优于其他基线模型，能够学习到符合原始数据分布并表现出理想特性的压缩合成数据集。

Mar, 2024

揭示数据集精简的设计空间

通过设计一个综合的框架，实现了软分类感知匹配和调整学习速率的策略，从而在小型和大型数据集压缩上建立了基准，显著提高了模型训练效率。

Apr, 2024

高效深度哈希检索：通过特征嵌入匹配压缩数据

本文提出了一种有效的压缩框架，该框架通过匹配合成集和真实集之间的特征嵌入来增强特征的多样性，并结合早期增强模型和多形态的策略，显著提高了性能和效率，比现有的基准方法都要优越。

May, 2023

通过有效的合成数据参数化压缩数据集

通过数据规则特征，提出一种生成多种合成数据的紧凑型训练数据的新型压缩框架，并开发出有效的优化技术，提高了训练数据信息的压缩质量。

May, 2022

压缩数据集下对抗训练的有效性研究

通过在数据集中找到最小有限覆盖（MFC）的方法，提出了一种新的考虑鲁棒性的数据集压缩方法，用于提高数据集压缩效率和对抗性鲁棒性，并证明其在三个数据集上具有更好的鲁棒性和性能平衡。

Feb, 2024

免费提供隐私：数据集压缩如何帮助隐私？

本文首次发现，原本用于提高训练效率的数据集压缩技术 (dataset condensation, DC)，在数据隐私保护方面也是替代传统数据生成器的更好解决方案。我们提出了在 DC 中提供隐私保护，并理论上证明 DC 合成的 $m$ 个样本在参数分布上对网络的影响有限 ($O (m/n)$)，同时通过试验证明 DCsynthesized 数据的可视隐私和成员隐私。本文的创新之处在于：通过数据压缩实现了数据高效性与隐私保护的双赢。

Jun, 2022

通过生成模型进行数据集简化

将大型数据集通过生成模型进行压缩，通过内类和间类损失优化样本集合关系，提高优化速度和适应大型数据集的能力。

Sep, 2023