Dec, 2022

通过模型增强加速数据集蒸馏

PDF
TL;DR本研究旨在通过生成高质量的人工合成数据集，从而提高数据集的效率，我们提出了两种模型增强技术，使用早期模型和权重扰动学习具有显著减少培训成本的信息化合成集。实验结果表明，我们的方法达到了最先进的基线方法的速度提升达到 20 倍，并且性能相当。
dataset distillationmodel augmentationearly-stage modelsweight perturbationsynthetic datasets
发现论文，激发创造
  • 预训练模型是否能在数据集精炼中提供帮助？

    数据集精炼（DD）是一种将大规模原始数据集的知识封装到小型合成数据集中进行高效训练的突出技术。与此同时，预训练模型（PTMs）作为知识库具有从原始数据集中获取的广泛信息。我们通过初步实验验证了 PTMs 对 DD 的贡献，然后系统研究了 PTMs 的不同选项，包括初始化参数、模型架构、训练周期和领域知识，揭示了：1）增加模型多样性可以提高合成数据集的性能；2）次优模型在某些情况下可以辅助 DD 并超过训练充分的模型；3）DD 并不一定需要特定的领域 PTMs，但合理的领域匹配至关重要。最后，通过选择最佳选项，我们显著提高了基线 DD 方法的跨体系结构泛化能力。我们希望我们的工作能帮助研究人员开发更好的 DD 技术。

    Oct, 2023

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 通过与平滑高质量专家轨迹的对齐实现高效的数据集精炼

    本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

    Oct, 2023

  • 组分布稳健数据集蒸馏及风险最小化

    通过结合聚类和风险度量的最小化算法，实现数据集精炼，具备对子群体的有效泛化和稳健性，为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。

    Feb, 2024

  • 探索数据集偏差对数据集提炼的影响

    利用数据集正规化技术 (Dataset Distillation, DD) 生成小规模的合成数据集，探究数据集偏倚对 DD 性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在 DD 过程中识别和减轻偏倚的必要性。

    Mar, 2024

  • 基于扩散模型的数据扩充技术

    DistDiff 是一种基于分布感知扩散模型的有效数据扩充框架，通过构建分层原型来逼近真实数据分布，优化扩散模型中的潜在数据点，实现生成与目标分布一致的样本，从而在数据扩充任务中取得显著的改进。

    Mar, 2024

  • DataDAM：高效数据集提炼与注意力匹配

    采用高效的数据集提炼技术 (DataDAM)，通过匹配真实数据和合成数据的不同层级生成的空间关注图，我们在多个数据集上实现了最先进的性能同时降低了训练成本。

    Sep, 2023

  • 通过深度生成先验的数据集蒸馏泛化

    Dataset Distillation technique using learned prior of deep generative models and a new optimization algorithm improves cross-architecture generalization by synthesizing few synthetic images from a large dataset.

    May, 2023

  • 最小化累积轨迹误差以提高数据集蒸馏

    本文提出了一种基于优化算法的 Flat Trajectory Distillation（FTD）方法来缓解 distortion 和 subsequent evaluation 之间的累积轨迹误差，实验证明该方法可提高梯度匹配方法的性能，并适用于神经架构搜索。

    Nov, 2022