在此研究中，作者介绍了一种新的损失函数，旨在促进 feature 的可压缩性，而不会牺牲多个任务的系统性能，作者称之为压缩友好的丢失函数，实验结果显示，使用这种丢失函数，可以实现约 20％的比特率降低。

Feb, 2019

对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

Aug, 2023

本研究通过对大型语言模型进行压缩，并从四个方面考察了压缩对模型行为的影响，包括退化伤害、表征伤害、方言偏差和语言建模及下游任务性能。研究结果发现，压缩可能对模型的行为产生意想不到的后果，强调将安全评估纳入到压缩模型的开发中以确保其在现实应用中的可靠性。

Jul, 2024

深度神经网络（DNNs）在许多人工智能（AI）任务中被广泛使用，为了解决其部署带来的巨大的内存、能量和计算成本挑战，研究人员开发了各种模型压缩技术，最近还有越来越多的研究关注定制化 DNN 硬件加速器以更好地利用模型压缩技术，此外，保护安全和隐私对于部署 DNNs 至关重要，我们的研究综述首先涵盖主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性运算优化，然后介绍了设计可以适应高效模型压缩方法的硬件加速器的最新进展，此外，我们还讨论了如何将同态加密集成到安全 DNN 部署中，最后，我们讨论了硬件评估、泛化和各种压缩方法的集成等几个问题，总体来说，我们旨在从算法、硬件加速器和安全性角度提供高效 DNN 的整体概况。

May, 2024

通过综合考虑模型重塑和输入扰动，本研究首次探讨了实际模型优化的深度学习系统中的多因素对抗攻击问题，并开发了一种名为 “梯度抑制” 的防御技术，能够有效减轻对软硬件导向深度学习的对抗攻击。

Feb, 2018

通过 Adversarially Trained Model Compression (ATMC) 框架，将剪枝、因子分解和量化等现有压缩方法整合到一个受约束的优化公式中，实现了在保持模型准确性和鲁棒性的前提下，获得更好的模型尺寸和准确性折衷。

Feb, 2019

深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存成本，同时又能保持较高的性能。本文通过对模型压缩技术的综述，特别关注量化、知识蒸馏和修剪等方法在生物特征识别应用中的应用，从而对该领域的研究现状进行了系统化总结。我们对这些技术的比较价值进行了关键分析，着重讨论了它们的优点和缺点，并提出了进一步研究方向的建议，以改进当前的方法。此外，我们还讨论和分析了模型偏见与模型压缩之间的联系，强调了未来的研究需要将压缩技术引向模型公平性的方向。

Jan, 2024

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023

增加模型容量是增强深度学习网络对抗性鲁棒性的已知方法之一，而剪枝和量化等压缩技术则可以减小网络的大小同时保持准确性。本研究总结了现有证据并讨论了观察到的效果可能的解释。

Nov, 2023

介绍了 CompressAI，一个图像和视频端到端压缩编解码器研究、开发和评估平台，提供自定义操作、层、模型和工具，包括预训练模型和评估工具，并与传统编解码器进行比较，使用 Kodak 图像数据集作为测试集，采用 PSNR 和 MS-SSIM 指标对多个端到端压缩模型进行了客观比较，目前实现静态图像压缩，但计划在不久的将来扩展到视频压缩领域。

Nov, 2020