- 教学中的不确定性：释放目标检测知识蒸馏的潜力
提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。
- ICLR通过最优输运实现元剪枝
该论文介绍了一种名为 Intra-Fusion 的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前 - AAAIEPSD: 早期剪枝与自蒸馏用于高效模型压缩
提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。
- 梯度下降剪枝神经网络
我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数 - MM物联网设备的计算机视觉技术调查
通过本文，我们调查了低功耗和能效更高的深度神经网络实现的最新进展，其提高了深度神经网络的可部署性而在不显著牺牲准确性的情况下。这些技术可以分为三个主要类别：神经网络压缩、网络架构搜索和设计、以及编译器和图优化。我们调查了卷积和变换器深度神经 - 行人属性识别的轻量级属性定位模型
该论文提出了使用张量分解（比如 CPD-EPC 算法）对行人属性识别模型（ALM）进行高效的层次压缩，在资源受限的嵌入式设备上实现高效的轻量级行人属性定位模型（LWALM）的目标。
- 重尾 SGD 训练的超参数神经网络的隐式可压缩性
本研究提出了一种基于随机梯度下降和添加重尾噪声的简单修改方法，使算法输出可压缩。研究表明通过增加隐藏层减小过拟合，该方法在训练和测试误差上拥有更高的压缩性。
- CNNs 压缩的评估指标
本文旨在通过提供评估指标的综述，为神经网络压缩的标准化做出贡献，并将这些指标实现到一个名为 NetZIP 的标准化神经网络压缩平台中，在三个案例研究中展示了一些指标，分别聚焦于对象分类、对象检测和边缘设备。
- ICLR张量分解中的近似误差对神经网络压缩的信息量有多大？
通过实验研究表明，神经网络张量分解压缩中，权重近似误差与性能误差之间存在正相关性，而基于特征的近似误差并不能明显提高相关性，可以尝试使用不同的分解方法来进行选择和压缩，使用权重近似误差作为指标。
- 使用 Wasserstein 知识蒸馏提高神经主题模型
本文提出了一种知识蒸馏框架，以压缩具有大内存占用的上下文化主题模型，而不会在主题质量上造成损失，并在两个公开数据集上进行实验以证明其有效性。
- AcceRL：深度强化学习策略加速框架
AcceRL 是一种基于神经网络压缩的轻量级并行训练框架，它综合了多种神经网络压缩技术，用 Off-Policy 方法来优化经验，显著降低了传统方法的时间成本并保持了相同的策略质量。
- 使用辨别性图像补丁在初始化时进行单次网络修剪
本文提出了两种新的神经网络稀疏化方法：针对高级视觉特征进行剪枝的 DOP 方法和 Super Stitching 方法。通过大量实验发现，One-shot Network Pruning 需要数据的支持，并且 Super Stitching - COLING自然语言任务上结合压缩的乘法尺度缩放
本研究在六个 BERT 架构和八个 GLUE 任务上探究了神经网络压缩方法中的量化、知识蒸馏和幅度修剪，发现量化和知识蒸馏提供了比修剪更大的好处，同时多种方法的组合具有协同减小模型大小的效果。
- ECCV一个关于等向网络参数共享的实证评估
本研究旨在对等向网络 (SPIN) 进行经验性评价，提出了一种权值共享策略，并对权值共享的行为进行了定性研究。实验结果表明，该策略可以比传统缩放方法更有效地提高模型效率，例如在 ImageNet 数据集上将 ConvMixer 压缩 1.9 - ACAS Xu 早期原型的神经网络压缩存在安全隐患：通过量化状态反向可达性进行闭环验证
本文提出了一种使用状态量化和反向可达性验证无人机收发器 ACAS Xu 系统闭环逼近的技术，以验证系统的安全性，并发现了该系统在真实情况下存在碰撞的情况。
- 基于通道独立性的紧凑神经网络剪枝方法 CHIP
本文从跨通道的角度出发，提出了一种基于通道独立度的高效的滤波器剪枝方法，该方法通过减少含有较少有用信息的特征图的数量，从而减小了模型容量，提高了模型的计算和存储效率。实验结果表明，在不影响精度的情况下，该方法可以显著地减小模型大小和 FLO - ECCV剪枝模型优于压缩之后再蒸馏
本文提出了一种新的 “剪枝再蒸馏” 的框架，该框架在知识蒸馏中先对模型进行了剪枝以使其更易于转移，并且理论证明了剪枝后的教师模型在知识蒸馏中扮演了正则化器的作用，并减少了泛化误差。最后，我们提出了一种新的神经网络压缩方案，其中的学生网络是基 - 面向资源受限的边缘计算系统的受监督压缩
本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比 - 随机梯度下降中的重尾以及过度参数化神经网络的可压缩性
本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论 - 多样化样本生成以获得精准的无数据量化
数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。