ICMLJun, 2022

利用权重重要性的置信上限对大型 Transformer 模型进行修剪

PDF
TL;DR以 UCB（置信上界）为基础的 importance estimation 的 PLATON 方法有效地解决了传统剪枝方法因 mini-batch 采样和复杂训练动态而产生的不确定性和稳定性问题，从而在自然语言理解、问答和图像分类等任务中取得了显著的稀疏性改善效果。
transformer-based modelsmodel pruningimportance scoresuncertaintyplaton
发现论文，激发创造
  • 修剪能否提高大型语言模型的效率？

    通过对 Transformer 架构进行参数剪枝的优化策略，通过广泛实验和超参数选择，研究发现可以在不牺牲性能的情况下显著减少模型大小，并改善通用性能，从而在深度学习应用方面实现更可扩展和环境友好的方式。

    Oct, 2023

  • 使用原则重要性和自我正则化剪枝预训练语言模型

    本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。

    May, 2023

  • LLM 外科医生

    通过数据驱动的预训练模型压缩方法，我们可以在不牺牲性能的情况下，对大型语言模型进行剪枝，减小模型的规模。

    Dec, 2023

  • 使用预训练语言模型的不确定性量化：一项大规模经验分析

    该论文研究了基于预训练语言模型的 NLP 任务中的预测流水线如何最小化校准误差，比较了不同选项的表现，并推荐使用 ELECTRA 作为 PLM 编码，尽可能使用更大的 PLM，使用温度调节作为不确定性度量，以及使用 Focal Loss 进行微调。

    Oct, 2022

  • 动态不确定性下的大规模数据集修剪

    本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

    Jun, 2023

  • 统一的概率神经架构和权重组合提高模型鲁棒性

    本研究提出了一种统一的概率架构与权重集成神经架构搜索方法，利用概率神经架构搜索和近似贝叶斯推理的进展，从神经网络架构和权重的联合分布生成集成模型，取得了较大的进步。

    Oct, 2022

  • MoreauPruner：针对权重扰动的大型语言模型稳健修剪

    在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。

    Jun, 2024

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 硬件友好的块结构剪枝优化 Transformer 大规模语言表示

    本文研究了基于 transformer 的预训练语言模型的硬件友好型块结构裁剪技术，通过加入一项称为 “留组拉索” 的优化算法来进行裁剪操作并达到高压缩率，同时实验表明该方法适用于迁移到资源受限的边缘设备上。

    Sep, 2020

  • 低资源口语理解的瓶颈低秩变换器

    本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

    Jun, 2022