- 基于交叉栅极模拟内存加速器的 ADC 效率提升的修剪方法
通过识别三个关键属性，我们提出了一种适用于 ADC 特定效率低下问题的剪枝方法，实现 ADC 能量的降低并减少精度损失，从而提高深度学习效率。
- LNPT: 无标签网络剪枝和训练
在本文中，我们介绍了学习差距的概念，并强调其与泛化能力的准确相关性。实验表明，学习差距以网络倒数第二层的特征图的形式与泛化性能的变化相一致。我们提出了一种新的学习框架，LNPT，使得云端的成熟网络能够对没有标签的智能设备上的网络修剪和学习提 - ICLR修剪的循环神经网络层中的图扩展保留性能
神经网络的稀疏性和强连通性是扩展属性，对于在资源受限平台上使用递归神经网络进行实时序列学习任务来说，剪枝是必要的。本研究探讨了保持递归网络的大型谱间隙和层级扩展属性的方法，以及关于它们双分层图特性的时间展开递归网络图研究。通过 MNIST、 - 最大麦克斯韦恶魔：通过利用神经元的饱和实现高效修剪
通过研究神经网络中的死亡神经元现象，提出一种基于稀疏性和修剪的简单高效算法，称为 Demon Pruning（DemP），用于网络模型压缩和优化。在 CIFAR10 和 ImageNet 数据集上的实验证明，DemP 优于现有的结构化修剪技 - 基于梯度自由的自适应全局修剪预训练语言模型
通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。
- 使用决策变换器进行四足动物运动的微型强化学习
我们提出了一种方法，将模仿学习应用于资源受限的机器人平台，通过将模仿学习问题视为条件序列建模任务，使用专家示范增强的自定义奖励训练决策变压器，并利用量化和修剪等软件优化方案压缩生成模型，在 Isaac Gym 仿真环境中验证了该方法，在资源 - 大型语言模型的模型压缩与高效推理：调研
这篇论文研究了大型语言模型的压缩和高效推理方法，介绍了分类为量化、修剪、蒸馏、紧凑架构设计和动态网络的压缩和加速算法，并提出了中型模型和真正大型模型的区分。此外，还介绍了一些用于大型模型高效推理的成熟框架，可以支持基本的压缩或加速算法，极大 - SLEB: 通过冗余验证与消除优化 Transformer 块的流程化 LLMs
利用 SLEB 方法，通过消除多余的 transformer 块来优化大型语言模型的效率，加速模型的推断过程，同时不损害模型的语言能力。
- 探索用于下游数据修剪的学习复杂性
通过将学习复杂度作为评分函数，本文提出了一种高效的修剪方法，可用于优化 fine-tuning 过程中的计算资源需求，并在大型语言模型的指令 fine-tuning 任务上取得了优越的性能。
- 通过修剪和低秩修改评估安全对齐的脆弱性
利用剪枝和低秩修改探索大型语言模型的安全与稳健性，发现关键区域的剔除威胁了安全性但对效用影响不大，同时指出即使限制对关键区域的修改，大型语言模型仍然容易受到低成本的微调攻击，强调了对大型语言模型更强健的安全策略的迫切需求。
- Transformer 压缩综述
在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。
- 语言模型压缩算法综述
如何在不牺牲准确性的情况下压缩语言模型，本论文调查和总结了包括修剪、量化、知识蒸馏等在内的多样化压缩算法，并对其进行了深入分析，并根据我们的调查结果介绍了有前景的未来研究主题。
- 解决带时间窗的大规模车辆路径问题的时空需求聚类
通过聚类的数据驱动方法，将车辆路径问题分解成子问题以降低复杂性，并应用剪枝和局部搜索来优化解决方案。结果表明，该方法在解决大规模车辆路径问题时优于传统基于空间信息的方法，并能够适应不同情景的路由问题。
- 修剪以增加对齐 LLMs 的防越狱能力，无需微调
通过修剪大型语言模型（LLM）的参数，可以显著提高其对 Jailbreaking 提示的抵抗力，而且不需要额外的训练，并且在标准基准测试中不会牺牲性能。此外，我们引入了一个由 225 个有害任务组成的精选数据集，并将其插入到 10 个不同的 - DTMM：使用剪枝在极弱 IoT 设备上部署 TinyML 模型
DTMM 是一个针对微控制器单元（MCUs）等弱物联网设备上的高效部署和执行机器学习模型而设计的库。通过对模型进行修剪（pruning）以在低能耗的设备上实现高效执行，DTMM 旨在填补现有解决方案无法实现紧凑压缩和高效执行的缺口。
- ICCV基于概念聚类复杂性的大规模网络数据集的有效剪枝
利用大规模网络数据集进行训练会消耗可观的计算资源，本文研究通过修剪大规模多模态数据集来提高训练效率，并通过筛选高质量数据集以降低训练成本，从而在 ImageNet 数据集上取得了更好的性能。
- 修剪大型语言模型的快速和最优权重更新
本文提出了一种基于交替方向乘法器的快速最优权重更新算法来修剪大型语言模型，配合简单的迭代修剪掩码选择，在广泛范围的大型语言模型中实现了最先进的剪枝性能。
- LLM 外科医生
通过数据驱动的预训练模型压缩方法，我们可以在不牺牲性能的情况下，对大型语言模型进行剪枝，减小模型的规模。
- 具有梯度采样优化的残差神经网络的鲁棒剪枝
本研究探讨了一种创新的神经网络优化方法，专注于在修剪过程中应用与 StochGradAdam 类似的梯度采样技术。我们的主要目标是在修剪模型时保持高精度水平，这是资源受限场景中的一个重要挑战。我们广泛的实验证明，使用梯度采样技术优化的模型在 - 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化
通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精