本文提出了结合 SAM 的各种任务特定的模型压缩方法，包括迭代幅值修剪（IMP）、结构修剪和训练后动态量化，实验表明，优化平坦最小值一致性地导致参数更可压缩，并且在 GLUE 文本分类和 SQuAD 问答基准测试中几乎没有精度损失。

May, 2022

本研究提出了一种新方法，叫做 sharpness-aware quantization，旨在通过减小量化时的抖动来提高网络压缩的泛化性能，此方法在多组实验中均能取得比当前最先进方法更好的结果。

Nov, 2021

本文提出了新的框架 NxMiFormer，同时使用 ADMM 和 STE-based QAT 进行稀疏化和量化，通过搜索算法找到最优的异构压缩配置，使预处理 Transformer 网络在 NLU 测试中达到 93% 的压缩率并保持 98% 以上的准确性。

Jun, 2022

通过改进的端到端极值优化方法，我们在稀疏学习问题上更好地平衡了模型性能与计算效率，同时表明在各种基准数据集和架构上，联合压缩和微调脉冲神经网络 (SNNs) 比顺序压缩和微调更好，特别适用于极限压缩比。

Aug, 2023

本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

May, 2022

本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

Apr, 2020

我们提出了一种新颖的零射频锐化感知量化（ZSAQ）框架，用于各种预训练语言模型的零射频量化，并理论证明了 SAM-SGA 优化算法的收敛速度以及该结果适用于其他非凸型极小 - 极大优化框架。通过在 11 个任务上进行大量实验证明，我们的方法在鉴别性和生成性预训练语言模型上都带来了一致且显著的性能提升，即最高可达 + 6.98 的平均得分，并且在实践中验证了我们的方法能够有效改善模型的泛化能力。

Oct, 2023

本文研究表明通过 Sharpness-Aware Minimization 优化方法，可以显著提高语言模型的泛化能力，进而在数据集有限的任务上取得更好的性能表现。

Oct, 2021

该论文提出了一种量化感知张量压缩训练方法，通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，进一步获得低精度的模型表示进行端到端和蒸馏 - based 训练，并应用层与层的蒸馏方法将预训练的 Transformer 模型转换为量化和张量压缩的学生模型以提高收敛速度，并在两个自然语言理解任务中表现出高达 63 倍的压缩比、几乎无损的精度损失和显著的推断和训练加速。

Jun, 2023

本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

Mar, 2018