该研究介绍了一种创新方法，旨在高效剪枝神经网络，特别关注其在边缘设备上的部署。通过将 “Lottery Ticket Hypothesis”（LTH）与 “Knowledge Distillation”（KD）框架相结合，我们提出了三个不同的剪枝模型，用于解决推荐系统中的可扩展性问题。通过巧妙应用剪枝技术，我们有效地降低了功耗和模型维度，同时又不影响准确性。实证评估使用来自不同领域的两个真实数据集对比了两个基准方法。令人满意的是，我们的方法在 GPU 计算能力上实现了高达 66.67% 的降低。值得注意的是，我们的研究通过首次应用 LTH 和 KD 在推荐系统领域做出了贡献。

Jan, 2024

通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

Mar, 2024

本研究提出了一种基于参数剪枝的数据集精简方法，可以通过删除难以匹配的参数来产生更强韧的数据集，提高精简效果和性能，实验结果表明该方法优于其他现有技术。

Sep, 2022

通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

Nov, 2021

该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

Dec, 2019

本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

Jul, 2023

本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

Jun, 2023

通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质使得在适用合成数据的设置中，合成选择的次网络通常能达到与传统 IMP 相媲美的性能，而训练点可减少多达 150 倍。

Oct, 2023

本文提出了一种新的方法，通过仅使用一种特殊的数据子集来发现 Lottery Ticket Hypothesis (LTH) 中的胜彩（稀疏而关键的子网络），该子集被称为 Pruning-Aware Critical set (PrAC set)，相较于使用全套训练集的方式，使用该子集可以更高效地发现这些胜彩，这篇文章还验证了这种做法在不同网络结构上的适用性。

Jun, 2021

通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

Oct, 2023