- 预训练变换器的矩阵分解方法的实证研究
通过比较传统的低秩分解与最近引入的 Monarch 分解，我们在 Transformer 压缩技术方面提出了一个全面的分析，发现低秩分解在不同压缩比和六个文本分类任务中始终优于 Monarch 分解。
- UniCompress：基于知识蒸馏的多数据医学图像压缩增强
通过使用一种名为 ``UniCompress'' 的新方法，我们扩展了医学图像压缩领域的 Implicit Neural Representation（INR）网络的压缩能力，该方法首次使用一个 INR 网络压缩多个医学数据块。我们的研究引 - SKVQ：用于大语言模型的滑动窗口键值缓存量化
在这篇论文中，我们提出了一种称为 SKVQ 的策略，它通过滑动窗口的键值缓存量化来解决大型语言模型中低比特宽度的键值缓存量化问题，并实现高压缩比和高准确性。
- DAGC：面向移动计算的分布式机器学习数据容量感知自适应稀疏梯度压缩
在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非 IID 环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据 - CompaCT：适用于无损压缩高色彩 DICOM 医学图像的基于分形的启发式像素分割
该研究提出了一种名为 CompaCT 的无损医学图像压缩算法，通过使用分形分割预处理，以及数据压缩的动态增强，实现了对医学图像的高效压缩和无损重建，其压缩比相比行业标准系统提高了 37%。
- 数据集量化
用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。
- MM学习的点云压缩用于分类
基于 PointNet 的新型点云编解码器，在机器任务分类中实现了更好的速率 - 准确性平衡，相对于非专用编解码器在 ModelNet40 数据集上达到了 94% 的降低 BD 比特率。对于低资源终端设备，我们提出了两种轻量级编码器配置，在 - CVPR用于快速且通讯高效的联邦学习自适应差分滤波器
本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。
- ACL预训练语言模型中的超级票：从模型压缩到提高泛化能力
该研究探讨了 Lottery Ticket Hypothesis 理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compres - ICML利用多阶段图嵌入和强化学习的拓扑感知网络剪枝
本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术，用于识别 DNN 的拓扑结构和寻找合适的压缩策略，实现模型压缩并获得更高的压缩比和竞争性的性能。
- 神经网络剪枝中比较重置和微调
本文提出了两种新的训练技术（Weight Rewinding 和 Learning Rate Rewinding）并将它们与传统 Fine Tuning 技术进行了比较，实验结果表明使用这两种技术进行神经网络剪枝可以获得与其他先进技术相当的 - 神经网络权重的可压缩性丧失
本文介绍一种压缩性损失的方法，使神经网络学习高度压缩的神经网络权重，采用这种方法可以使信号的非零部分具有极低的熵，从而整个信号更容易被压缩，我们证明了目标函数的临界点可以使权重向量成为三元信号，其取决于稀疏度，我们实验了这种方法，结果发现它 - 用张量嵌入层实现模型高效压缩
本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。
- 张量环分解及其计算算法
本文探讨如何使用张量分解技术，通过引入张量环格式、设计新算法、定义线性代数操作并实现改变张量结构等方式，获得更低的存储成本和更高的压缩比。