Jun, 2024

稳定且存储有效的数据集蒸馏：匹配凸化轨迹

PDF
TL;DR通过对目标函数进行简单的转换和利用 MCT （Matching Convexified Trajectory）方法，研究论文发现 MTT 方法存在的三个主要问题：Stochastic Gradient Descent（SGD）生成的专家轨迹不稳定，提取过程的收敛速度慢以及专家轨迹的存储消耗高，并提出了一种能够快速且稳定地引导学生网络收敛的方法。实验结果显示，MCT 方法在三个公共数据集上相较于传统的 MTT 方法具有优越性。
发现论文，激发创造
  • 通过与平滑高质量专家轨迹的对齐实现高效的数据集精炼

    本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

    Oct, 2023

  • 最小化累积轨迹误差以提高数据集蒸馏

    本文提出了一种基于优化算法的 Flat Trajectory Distillation（FTD）方法来缓解 distortion 和 subsequent evaluation 之间的累积轨迹误差，实验证明该方法可提高梯度匹配方法的性能，并适用于神经架构搜索。

    Nov, 2022

  • 通过匹配训练轨迹进行数据集蒸馏

    本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。

    Mar, 2022

  • 基于难度对齐轨迹匹配的无损数据集蒸馏

    开发一种能随着合成数据集规模增长而保持有效的新型数据集精馏方法，通过早期或晚期的轨迹匹配，成功将轨迹匹配方法扩展到更大的合成数据集，首次实现了无损数据集精馏。

    Oct, 2023

  • 使用恒定内存扩展到 ImageNet-1K 的数据集蒸馏

    本文研究了一种名为 MTT 的数据集压缩方法，提出了一种内存和时间更高效的轨迹匹配算法 TESLA，并且发现对于更大的数据集，为合成图像分配软标签至关重要。TESLA 在 ImageNet-1K 数据集上实现了 27.9% 的测试准确率，要比之前的方法高出 18.2% 的较大优势。

    Nov, 2022

  • 医疗数据集提炼的渐进式轨迹匹配

    我们提出了一种新的医学图像数据集精华方法，通过设计新的渐进轨迹匹配策略提高了医学图像数据集精华的训练稳定性，并通过动态消除不同图像之间的重叠来改善合成数据集的多样性和最终性能，进而在各种模态和配置上建立了一个新的医学图像数据集精华基准，实验证明我们提出的方法相比之前的最先进方法平均提高了 8.33%，当 ipc=2 时，提高了 11.7%。

    Mar, 2024

  • 使用梯度匹配的数据集压缩

    本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。

    Jun, 2020

  • 利用梯度匹配和隐式微分来学习生成合成训练数据

    本文探讨了各种数据蒸馏技术，包括基于生成式教学网络、梯度匹配和隐函数定理的新方法，实验表明这些新方法比以前的方法更具计算效率并提高了在 MNIST 图像分类问题上训练模型性能。

    Mar, 2022

  • 神经网络学习轨迹的转移

    该研究通过匹配梯度实现新数据集的快速训练，实现了深度神经网络的计算效率提高，进一步分析了不同参数下模式的变化。

    May, 2023

  • 数据集压缩与分布匹配

    本研究提出了一种简单而有效的方法，通过在多个采样嵌入空间中匹配合成图像和原始训练图像的特征分布，综合减少了合成成本，同时实现了可比较或更好的性能，具有在实际大型数据集中应用以及在连续学习和神经结构搜索中表现出有希望的实际好处的潜力。

    Oct, 2021