通过对目标函数进行简单的转换和利用 MCT （Matching Convexified Trajectory）方法，研究论文发现 MTT 方法存在的三个主要问题：Stochastic Gradient Descent（SGD）生成的专家轨迹不稳定，提取过程的收敛速度慢以及专家轨迹的存储消耗高，并提出了一种能够快速且稳定地引导学生网络收敛的方法。实验结果显示，MCT 方法在三个公共数据集上相较于传统的 MTT 方法具有优越性。

Jun, 2024

SelMatch 是一种新颖的数据集精简方法，通过选择性初始化和轨迹匹配的部分更新，适应不同规模的 IPC，并在 CIFAR-10/100 和 TinyImageNet 数据集上从 5% 到 30% 的子集比率中始终胜过其他选择性筛选和仅精简方法。

May, 2024

使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

Nov, 2023

本文提出了一种基于优化算法的 Flat Trajectory Distillation（FTD）方法来缓解 distortion 和 subsequent evaluation 之间的累积轨迹误差，实验证明该方法可提高梯度匹配方法的性能，并适用于神经架构搜索。

Nov, 2022

用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

Dec, 2023

我们提出了一种新的医学图像数据集精华方法，通过设计新的渐进轨迹匹配策略提高了医学图像数据集精华的训练稳定性，并通过动态消除不同图像之间的重叠来改善合成数据集的多样性和最终性能，进而在各种模态和配置上建立了一个新的医学图像数据集精华基准，实验证明我们提出的方法相比之前的最先进方法平均提高了 8.33%，当 ipc=2 时，提高了 11.7%。

Mar, 2024

开发一种能随着合成数据集规模增长而保持有效的新型数据集精馏方法，通过早期或晚期的轨迹匹配，成功将轨迹匹配方法扩展到更大的合成数据集，首次实现了无损数据集精馏。

Oct, 2023

本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。

Jun, 2020

利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

Mar, 2024

提出了一种称为 LITE 的新的元学习方法，通过在训练集中使用一个随机子集来近似全梯度，进而使得此方法既能在单个 GPU 上训练大任务和图像，又能实现对于实际测试数据和较复杂测试集的准确和高效的元学习。

Jul, 2021