- 基于压缩的 LLM 排名
我们将理解过程视为信息压缩，并提出了一种基于无损数据压缩的大型语言模型（LLMs）排序方法。我们使用五个大型语言模型作为压缩的先验，并比较它们在困难的自然语言处理任务中的性能，包括句子完成、问题回答和共指消解。实验结果表明，压缩比率和模型性 - 使用低秩和低精度分解压缩大型语言模型
CALDERA 是一种新的后训练 LLM 压缩算法，通过近似低秩、低精度分解的权重矩阵近似表达模型，研究了压缩比和模型性能的权衡以及在小于 2.5 比特每参数的情况下相比现有的压缩技术的优越性。
- CoMERA：基于等级自适应张量优化的计算和内存高效训练
CoMERA 是一种通过排名自适应张量优化进行计算和内存高效训练的方法，通过多目标优化公式实现端到端的张量压缩训练，并在训练过程中提供了高压缩比和优良的准确性，同时比 GaLore 方法在内存和计算效率方面表现更优。
- CFD 应用数据降维的机器学习技术
使用保证误差界限的保证块自编码器（GBATC）方法，通过张量相关性（Tensor Correlations）减少计算流体力学（CFD）等科学应用程序产生的时空数据。该方法使用一个多维张量块（跨越空间和时间）作为输入和输出，捕捉张量内的时空和 - ABKD：基于注意力的知识蒸馏技术的图神经网络压缩
通过注意力机制对 GNN 模型进行知识蒸馏，实现了对大规模图数据的高压缩比，平均精度提升 1.79%，压缩比达到 32.3 倍，相较于现有技术达到了更小的精度损失。
- 通过随机低秩和低精度因式分解实现矩阵压缩
我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。
- 神经递进网格
通过使用分级细节技术和渐进式网格表示方法，在大量三维几何数据的传输过程中提高质量并降低带宽成本。
- L2 后训练模型大小压缩
通过统一的参数化权重转换和可微分计数器，提出了一个后训练模型大小压缩方法，可以同时进行有损和无损压缩，实现了稳定的 10 倍压缩比和短时间内 20 倍压缩比。
- 剪枝 vs 量化：哪个更好？
对神经网络剪枝和量化技术进行了广泛的比较，结果显示在大多数情况下，量化优于剪枝，只有在极高的压缩比下，剪枝在准确性方面可能带来好处。
- LeCo: 基于序列相关性学习的轻量压缩
介绍了一种名为 LeCo（Learned Compression）的轻量级数据压缩框架，使用机器学习自动消除列中的串行冗余，实现了杰出的压缩比和解压性能，将现有算法纳入其框架下成为其特殊情况，实现了 Pareto 改进
- 无需参考文献的句子摘要生成：通过符号知识蒸馏实现更精细的控制
本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可 - CVPR重复使用教师分类器的知识蒸馏
使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种 - ACLDQ-BART: 联合蒸馏和量化的高效序列转序列模型
本文针对预训练模型在资源受限情况下，因占用大量内存和高延迟而面临的挑战，提出联合蒸馏和量化的方法，成功实现了在生成任务的多个数据集上 16.5 倍的模型足迹压缩比，而性能相对于完整精度版本并没有明显下降，并在压缩比达到 27.7 倍的情况下 - ICLR固定 - 固定模型压缩中不规则稀疏编码权重
本文提出一种定长编码算法，支持细粒度剪枝以将稀疏神经网络存储在高度规则的结构中，从而实现几乎最大的压缩率。
- ICCV神经网络剪枝的自动图编码器解码器
本文介绍了一种基于图神经网络和强化学习的自动压缩深度神经网络的方法，与手工规则的方法相比较具有更好的性能和更高的压缩比，通过多组实验验证了本方法的有效性。
- 块状张量神经网络
本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。
- 通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络
本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。
- 基于深度学习的时变大规模 MIMO 信道 CSI 反馈方法
本文提出了一种基于深度学习的实时 CSI 反馈架构 CsiNet-LSTM，通过直接从大规模 MIMO 信道的时变训练样本中学习空间结构和时间相关性，大大提高了恢复质量并改善了压缩比与复杂度之间的权衡。模拟结果表明，CsiNet-LSTM - ECCVLAPRAN：一种可扩展的拉普拉斯金字塔重建对抗网络，用于灵活的压缩感知重建
本文提出了一个可扩展的拉普拉斯金字塔重构对抗网络（LAPRAN）来解决单幅图像压缩感知与重建问题，使用拉普拉斯金字塔的概念通过多个重建对抗网络的阶段逐步重建图像，每个金字塔层次中使用上下文潜在向量将压缩感知测量融合以生成高频图像残差，实现了 - 使用交替方向乘子法进行深度神经网络的系统权重剪枝
本文利用交替方向乘子法 (ADMM) 提出了一种深度神经网络 (DNNs) 系统权值剪枝框架，通过约束非凸优化问题，并借助 ADMM 框架对权重剪枝进行有序化处理，以在保持相同测试精度以内的情况下实现更高的压缩率和更快的收敛速率。