SIGIRJun, 2021

基于不确定性正则化的迭代网络剪枝方法用于终身情感分类

PDF
TL;DR该研究提出了一种基于网络剪枝和权重正则化的不确定性正则化迭代网络剪枝方法，能够使 BERT 模型在处理多个领域不断到达的数据时避免灾难性遗忘和干扰，从而在终生情感分类方面具有显著优势。
lifelong learningsentiment classificationnetwork pruninguncertainty regularizationcatastrophic forgetting
发现论文，激发创造
  • 自适应正则化的基于不确定性的永续学习

    本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

    May, 2019

  • 强化学习剪枝深度神经网络

    本文提出了 PuRL，一种基于深度强化学习（RL）的神经网络剪枝算法，通过在每个剪枝步骤上提供奖励，可以在短时间内达到与现有最先进方法相当的稀疏性和准确性。 PuRL 在 ResNet-50 模型上实现了超过 80％ 的稀疏性，并在 ImageNet 数据集上保持了 75.37％ 的 Top-1 精度，并且可以很容易地适应于各种体系结构。

    Jul, 2020

  • 情感分类的终身学习

    本文提出了一种新颖的终身学习方法，采用贝叶斯优化框架和随机梯度下降算法，应用于情感分类问题并在实验中得到了明显的提升。

    Jan, 2018

  • 使用原则重要性和自我正则化剪枝预训练语言模型

    本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。

    May, 2023

  • 代理拉格朗日松弛法：一种无需重新训练的深度神经网络剪枝路径

    使用代理 Lagrange 松弛的系统性权重剪枝优化方法，可以通过少量的重新训练，实现比现有技术更快的收敛速度和更高的剪枝压缩率，同时维持高精度。

    Apr, 2023

  • 神经修剪的连续学习

    本篇研究提出了一种名为 CLNP 的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP 还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP 能够显著提高结果。

    Mar, 2019

  • 基于信息解缠正则化的文本分类连续学习

    本研究提出了基于信息分离的正则化方法，并引入了两个简单的辅助任务，用于在大规模基准测试中进行不同长度和序列的持续文本分类任务，证明了该方法的有效性。

    Apr, 2021

  • PERP: 重新思考 LLM 时代的修剪再训练范式

    通过修剪来高效地压缩神经网络，减少存储和计算需求，同时保持预测性能，我们提出了一种参数高效的修剪后重训练方法，使得修剪和重训练大规模语言模型的任务成为可能。

    Dec, 2023

  • 动态不确定性下的大规模数据集修剪

    本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

    Jun, 2023

  • 面向鲁棒剪枝：一种自适应知识保留剪枝策略

    本文提出了一种基于事先训练的知识的后期剪枝策略，旨在在剪枝过程中保留更多事先训练的知识，从而提高语言模型的鲁棒性。与其他最先进的基准方法相比，在数据集 SST2、IMDB 和 AGNews 上，我们的方法在准确性、稀疏性、鲁棒性和剪枝成本之间展现出了卓越的平衡，这是对语言模型鲁棒剪枝的一大进步。

    Oct, 2023