本文提出了一种名为数据集精简的数据高效学习方法,该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络,并将此目标表述为深度神经网络权重梯度匹配问题,此技术在计算机视觉基准测试中表现出较高性能,并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。
Jun, 2020
本研究提出了一种简单而有效的方法,通过在多个采样嵌入空间中匹配合成图像和原始训练图像的特征分布,综合减少了合成成本,同时实现了可比较或更好的性能,具有在实际大型数据集中应用以及在连续学习和神经结构搜索中表现出有希望的实际好处的潜力。
Oct, 2021
本篇研究提出并研究了图卷积神经网络 (GNNs) 的图压缩问题,旨在将原始大图压缩成小型合成图以提高神经模型训练的时间性能,通过优化梯度匹配损失和设计一种策略同时压缩节点特征和结构信息,有效地将不同图数据集压缩成信息丰富的较小图并将其用于训练各种 GNN 体系结构,测试结果在 Reddit 上可达到 95.3%,在 Flickr 上可达到 99.8%,在 Citeseer 上可达到 99.0%,同时将其图的尺寸缩小了 99.9%以上。
本文提出了一种使用对比信号的数据集精简方法,被称为 Dataset Condensation with Contrastive signals (DCC),通过修改损失函数使得 DC 方法能够有效捕捉类之间的差异,实验结果表明 DCC 方法在细粒度图像分类和不断学习任务上表现出了优越性。
Feb, 2022
通过简化图卷积网络在图浓缩过程中的度量对齐方法,提出了一种简化的图浓缩方法,该方法在性能表现上与现有方法相当,并且在速度上能够实现高达 10 倍的加速。
Mar, 2024
通过优化的起始点和更精细的梯度匹配策略,提出了一种名为 CTRL 的新型图图聚类方法,在多个图数据集和下游任务上进行了广泛实验证实其有效性。
Feb, 2024
通过分布匹配的方法,我们提出了一种新的数据集精简方法,有效地减少了计算资源的使用,使得数据集精简能够应用于更大的数据集和模型。
Jul, 2023
通过数据规则特征,提出一种生成多种合成数据的紧凑型训练数据的新型压缩框架,并开发出有效的优化技术,提高了训练数据信息的压缩质量。
May, 2022
通过使用课程学习策略和扩展窗口匹配技术,本文尝试进行无损图稀疏化,并设计了一种损失函数来从专家轨迹中提取知识,理论分析证明了方法的合理性,并通过广泛实验证实其优越性。
本文提出了一种有效的压缩框架,该框架通过匹配合成集和真实集之间的特征嵌入来增强特征的多样性,并结合早期增强模型和多形态的策略,显著提高了性能和效率,比现有的基准方法都要优越。
May, 2023