- xCOMET-lite: 在学习的 MT 评估指标中实现效率与质量之间的平衡
利用精简和压缩技术，我们创建了高效的 xCOMET 替代方法，并使用黑盒蒸馏数据收集管道，实验证明，经过量化处理后，xCOMET 可以压缩至原体积的三分之一，且质量不降低；通过蒸馏，我们创建了一个 xCOMET-lite 度量方法，它仅含有 - 多维剪枝：带时延约束的通道、层和块剪枝
提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。
- 并非所有提示都是相等的：基于提示的文本到图像扩散模型修剪
T2I 扩散模型的自适应提示优化裁剪 (APTP) 通过学习提示路由模型和架构代码来减少计算负担，优于单模型裁剪，在 FID、CLIP 和 CMMD 指标上具有更好的性能，并发现语义上有意义的聚类。
- ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化
本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B - SafeguardGS: 避免灾难性场景破坏的 3D 高斯基元修剪
3D Gaussian Splatting 中的修剪技术对于优化渲染性能起到关键作用，基于分类实验的观察，像素级修剪技术通过颜色加权评分函数能够较好地保持高渲染质量，并提供了修剪的合理最小边界。本研究为未来工作优化 3DGS 修剪策略提供了 - 通过线性层组合的低秩引导训练实现结构保留的网络压缩
本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞 - 基于剪枝和恢复的联邦学习
在异构环境中，提出了一种新颖的联邦学习训练框架，考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术，有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题，同时解决了异步算法中某些客户端训练不充分和过时问题。通 - BESA：使用块级参数高效稀疏分配对大型语言模型进行剪枝
本论文提出了一种名为 BESA 的新颖大型语言模型修剪技术，通过施加分块重构损失来减少整体修剪误差并以可微分方式分配层特定的稀疏性，从而确保修剪后的模型性能降低程度减少，实验结果表明 BESA 在仅五小时内能够高效地修剪带有 70B 参数的 - 重新思考模型再盆地与线性模态连通性
SGD 解决方案、模型再聚类体制、模型平均化、匹配算法和剪枝技术是该篇论文的关键词和主要研究领域。
- 在一个运行中耦合公平与修剪：一个双层优化视角
通过公平剪枝技术，我们提出了一种基于稀疏模型的公平剪枝框架，旨在在保持性能的同时确保公平性，并通过实验证明了该方法在维持模型公平性、性能和效率方面的优越性。
- 模型压缩的参数共享之辩
通过对随机参数共享（RPS）方法、剪枝技术和构建更小模型的记忆和准确度之间的权衡进行综合评估，我们的研究结果表明，RPS 相比较于更小模型和各种剪枝策略，如 MAG、SNIP、SYNFLOW 和 GRASP，在整个压缩范围内始终表现出更优的 - 通过近似正交约束的鲁棒低秩训练
介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练 - 训练期间自适应排名谱剪枝卷积层
本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。
- 带障碍的分支定界：用于基于 DD 的分支定界的支配与次优解检测
本论文介绍了一种基于决策图的分支定界算法，利用动态规划模型的结构以及数据结构 Barrier 中的阈值进行剪枝，进而解决优化问题，并结合 Gillard 等人在 2021 年提出的过滤技术进行优化，实验结果表明该方法能够在更短的时间内解决更 - ECCV面部属性分类的公平感知梯度修剪方法 FairGRAPE
本文提出了一种新的剪枝方法，称为公平感知梯度剪枝方法（FairGRAPE），以平衡不同子组在神经网络压缩过程中可能存在的影响，该方法在面部属性分类任务中对四个数据集（FairFace，UTKFace，CelebA 和 ImageNet）进行 - 多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习
本文阐述了神经网络在多任务学习方面的应用，介绍了神经网络过度参数化和权值修剪技术的理论基础，提出了一种新的神经网络表示结构，使得修剪神经网络可以在多个任务上实现性能提升，而不会出现遗忘或性能减少的问题。
- EMNLP分解彩票网络变形器：稀疏神经机器翻译的结构和行为研究
利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数，但通过剪枝会影响模型的学习表征，随着剪枝过程中低振幅权重的削减，语义信息的复杂性首先降低，同时在保持注意力机制的一致性的情况下，稀疏模型的早期层开始了更多的编码。
- ACL成功将稳定化彩票假设应用于 Transformer 结构
研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。
- 神经网络剪枝的现状是什么？
对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了 ShrinkBench 框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。
- 初始化时的鲁棒剪枝
深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。