CVPRJun, 2024

使用潜在分位数匹配的数据集压缩

PDF
TL;DR我们提出了一种新的方法：潜变量分位数匹配（LQM），通过匹配潜变量的分位数来最小化两个分布之间的拟合优度检验统计量，以解决现有分布匹配方法的缺点。实证实验表明，LQM 在基于分布匹配的数据集压缩中与或优于先前的最新技术。此外，我们展示了 LQM 在连续图学习（CGL）设置中改善了性能，其中内存效率和隐私可能很重要。我们的工作为基于分布匹配的数据集压缩在 CGL 中的应用提供了启示。
dataset condensationdistribution matchinglatent embeddingsquantile matchingcontinual graph learning
发现论文，激发创造
  • 改进的分布匹配用于数据集浓缩

    通过分布匹配的方法，我们提出了一种新的数据集精简方法，有效地减少了计算资源的使用，使得数据集精简能够应用于更大的数据集和模型。

    Jul, 2023

  • 对比信号的数据集压缩

    本文提出了一种使用对比信号的数据集精简方法，被称为 Dataset Condensation with Contrastive signals (DCC)，通过修改损失函数使得 DC 方法能够有效捕捉类之间的差异，实验结果表明 DCC 方法在细粒度图像分类和不断学习任务上表现出了优越性。

    Feb, 2022

  • 高效深度哈希检索：通过特征嵌入匹配压缩数据

    本文提出了一种有效的压缩框架，该框架通过匹配合成集和真实集之间的特征嵌入来增强特征的多样性，并结合早期增强模型和多形态的策略，显著提高了性能和效率，比现有的基准方法都要优越。

    May, 2023

  • 使用梯度匹配的数据集压缩

    本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。

    Jun, 2020

  • 通过一步梯度匹配压缩图

    本文提出了一种基于概率图模型和单步梯度匹配的高效数据集压缩方法，能够在保持性能的前提下将数据集大小缩减 90%。

    Jun, 2022

  • 数据集压缩与分布匹配

    本研究提出了一种简单而有效的方法，通过在多个采样嵌入空间中匹配合成图像和原始训练图像的特征分布，综合减少了合成成本，同时实现了可比较或更好的性能，具有在实际大型数据集中应用以及在连续学习和神经结构搜索中表现出有希望的实际好处的潜力。

    Oct, 2021

  • 基于匹配的产品量化技术用于即席检索

    本文介绍了匹配导向的产品量化技术 (MoPQ) 及其训练目标 Multinoulli 对比损失 (MCL)，通过最小化 MCL 以最大化查询和真实关键字的匹配概率来提高检索准确性。同时，该技术通过可微的跨设备抽样 (DCS) 来大幅增加对比样本的数量以精确地近似 MCL。在四个真实数据集上进行的实验研究表明了 MoPQ 的有效性。

    Apr, 2021

  • 通过接受域分布匹配的图卷积层压缩

    本研究提出了 “通过感受野分布匹配的图压缩” 算法，通过优化生成的小图形，使其具有与原图相似的感受野分布，从而在保持准确性的同时减小输入大小，并通过使用最大均值差异来量化其分布匹配损失，实现了高度通用性的生成图，并显著提高了压缩速度。

    Jun, 2022

  • 揭示数据集精简的设计空间

    通过设计一个综合的框架，实现了软分类感知匹配和调整学习速率的策略，从而在小型和大型数据集压缩上建立了基准，显著提高了模型训练效率。

    Apr, 2024

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023