Nov, 2023

稀疏化再分类：从大型语言模型的内部神经元到高效的文本分类器

PDF
TL;DR我们的研究提出了一种使用所有内部表示的方法，通过在所有激活和隐藏状态上采用多种池化策略，首先逐层稀疏化特定于任务的特征，然后在层之间进行聚合，用于文本分类。我们的实验证明，STC 不仅在预训练和微调模型上稳定提高了分类性能，而且在训练和推断速度上更加高效，具有更强的内在可解释性。
large language modelstext classificationpretrained llmspooling strategiessparsify-then-classify
发现论文，激发创造
  • 序列标注的语言模型剪枝：高效的上下文表示

    本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。

    Apr, 2018

  • 大规模语言模型的稀疏加速训练

    使用稀疏性加速预训练大型语言模型 (LLMs) 的训练过程，通过观察前向迭代中被激活的神经元的稀疏性，排除不活跃的神经元以提高计算速度，这一方法在实践中实现了与标准训练相媲美甚至更好的性能，持续预训练中吞吐量提升了 45%，在监督微调中节省了 38% 的训练时间，提供了一个简单、硬件无关且易于部署的额外 LLM 训练框架。

    Jun, 2024

  • 学会高效：在大型语言模型中构建结构化稀疏性

    使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升，通过激活较少神经元来获得更好的稀疏性和性能平衡，取得了较好的结果。

    Feb, 2024

  • 不要以最后一层来评估语言模型：分层注意力池化对比学习

    该论文介绍了一种基于注意力池化策略和对比学习目标的方法，可以从预训练的语言模型中提取语言学特征和层次信号，用于下游任务，并在语义文本相似度和语义搜索任务中取得了显著提升。

    Sep, 2022

  • 一种用于单 / 多标签文本分类的多颗粒度自解释符号神经模型

    本文介绍了一种结构化语言模型，该模型将符号概率模型和神经网络相结合，以提高文本分类性能，并能够在自我监督的方式下学习预测组合树，仅需要原始文本和句级标签作为训练数据，从而具有一定的自我解释性。实验结果表明，本方法在下游任务中能够取得良好的预测准确性，同时预测的跨度标签与人类的推理有一定的一致性。

    Mar, 2023

  • 注意力并不总是所需之物：走向有效地分类特定领域的文本

    本文探讨了在专业领域文本分类中，预训练语言模型（PLMs）的使用是否有必要，通过比较在三个文本分类数据集上的各种模型的效果，发现对于专业领域文本分类任务，使用线性 SVM 分类器可以提供一种相当的、便宜的、可重现的、可解释的替代方案。

    Mar, 2023

  • CATS：大型语言模型中的上下文感知稀疏阈值

    基于 Contextually Aware Thresholding for Sparsity (CATS) 的新框架用于稀疏化大型语言模型的激活并降低推理成本，在不需要微调的情况下，CATS-based 模型可以在 50% 的激活稀疏程度下实现与基础模型 1-2% 的下游任务性能，并且具有更快的收敛速度和更好的任务性能。

    Apr, 2024

  • 稀疏主题编码

    本文提出了稀疏主题编码（STC）方法，通过使用稀疏性建模大数据集的潜在表示，可以直接控制推断表示的稀疏性，并且可以与凸误差函数（例如 SVM Hinge Loss）无缝集成进行监督学习。实验结果表明，STC 和监督 MedSTC 模型在词汇的主题意义识别和分类准确性和时间效率方面优于其他模型。

    Feb, 2012

  • 优化大型语言模型的压缩方法

    基于层序之差异，我们提出了 LLM-Streamline 方法，该方法通过对模型中不重要的层进行剪枝和轻量级模型的替代训练，以减轻剪枝所引起的性能下降，并在综合实验中展示了其优于现有模型剪枝方法的效果。

    Mar, 2024

  • 高稀疏性基础 Llama 模型的高效预训练和部署

    通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。

    May, 2024