本文介绍了使用强化学习算法构建的自动化神经网络模型压缩方法 ——AutoML for Model Compression（AMC），该方法在保持模型准确性的同时，相较于传统的基于规则的压缩方法，具有更高的压缩比，从而实现了在性能和精度之间的最优平衡，并将此方法成功应用于 MobileNet 优化。

Feb, 2018

本文介绍了一种基于图神经网络和强化学习的自动压缩深度神经网络的方法，与手工规则的方法相比较具有更好的性能和更高的压缩比，通过多组实验验证了本方法的有效性。

Nov, 2020

本研究提出了 AutoReCon 方法，这是一种基于神经架构搜索的重构方法，通过自动设计生成器结构以实现对预先训练模型重构的效果达到提高数据无关压缩的方法。

May, 2021

本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。

Jul, 2019

通过 Adversarially Trained Model Compression (ATMC) 框架，将剪枝、因子分解和量化等现有压缩方法整合到一个受约束的优化公式中，实现了在保持模型准确性和鲁棒性的前提下，获得更好的模型尺寸和准确性折衷。

Feb, 2019

本研究专注于利用模型压缩技术，如剪枝和知识蒸馏，将预先训练的计算机视觉模型的复杂性和参数总数降低，从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明，可以删除计算机视觉模型总参数的 90％，而不会显着降低模型的准确性。

Jul, 2022

深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存成本，同时又能保持较高的性能。本文通过对模型压缩技术的综述，特别关注量化、知识蒸馏和修剪等方法在生物特征识别应用中的应用，从而对该领域的研究现状进行了系统化总结。我们对这些技术的比较价值进行了关键分析，着重讨论了它们的优点和缺点，并提出了进一步研究方向的建议，以改进当前的方法。此外，我们还讨论和分析了模型偏见与模型压缩之间的联系，强调了未来的研究需要将压缩技术引向模型公平性的方向。

Jan, 2024

通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

Jul, 2020

通过约束参数空间到预定义和固定的非线性流形，我们提出的 MCNC 模型压缩方法有效地涵盖了这个空间，能在广泛的任务上实现前所未有的压缩率，从而识别高质量解决方案。在计算机视觉和自然语言处理任务的大量实验证明，MCNC 方法在压缩、准确性和 / 或模型重建时间方面显著优于现有技术基线。

Jun, 2024

本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

Jun, 2020