Jul, 2024

基于Transformer的语言模型的自动微调数据剪枝

HTML
PDF
TL;DR针对细调任务的训练集，提出了自动数据集修剪方法，基于模型对每个训练数据点的正确分类成功率，通过导航子集大小和评估准确性之间的权衡，实现平均3倍缩小的优胜票子集，从而提高模型的评估性能。
发现论文，激发创造
  • 微调预训练语言模型：权重初始化，数据排序和早期停止

    该研究通过对GLUE基准测试中的四个数据集进行BERT的微调，发现同样参数下，不同的随机种子会导致非常不同的结果表现，并且在权重初始化和训练数据排序的两个方面探究其对结果的影响。此外，该研究对微调方法的实现提出了最佳实践，并公开其所有实验数据以供更深入的分析。

    Feb, 2020

  • 微调可以有多精细？学习高效语言模型

    通过使用BERT来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节，从而节省了任务特定参数存储和计算成本的开销。

    Apr, 2020

  • 稀疏渐进蒸馏：在预训练和微调范式下解决过拟合问题

    本研究针对pretrain-and-finetune模式下的transformer-based语言模型，提出了一个新的剪枝策略，即基于误差边界的渐进式知识蒸馏，试图通过减少过拟合的风险来提高模型剪枝的效率，结果表明我们的方法在GLUE测试集中表现优于竞争对手。

    Oct, 2021

  • 数据饮食中的NLU: 动态数据子集选择用于NLP分类任务

    本研究提出了一种基于动态数据修剪的方法，使用EL2N度量和初始微调阶段，在保持完整准确性的同时，可将数据量减少50%~80%以大大减少微调时间，并在GLUE基准测试和四个联合NLU数据集上展现出更好的时间-准确性平衡。

    Jun, 2023

  • 修剪能否提高大型语言模型的效率？

    通过对Transformer架构进行参数剪枝的优化策略，通过广泛实验和超参数选择，研究发现可以在不牺牲性能的情况下显著减少模型大小，并改善通用性能，从而在深度学习应用方面实现更可扩展和环境友好的方式。

    Oct, 2023

  • 剪枝语言模型：重现”稀疏可能扬声器“基准上的准确性

    在 BERT 模型的剪枝过程中，我们提出了一组成功剪枝的通用指南，包括与目标稀疏度相关的训练、稀疏化和学习率调整调度的简单方法，以及在 LLM 上进行知识蒸馏时适当参数化的重要性，这些简单的洞察力使我们在经典 BERT 剪枝基准和 SMC 基准上取得了最先进的结果，表明即使是经典的渐进磁度剪枝方法也可以以正确的方法得到竞争性的结果。

    Dec, 2023

  • TAIA：大型语言模型的非分布式数据学习者

    通过细调参数和推理时干预的Transformer模型，能够在数据匮乏的领域中提高大语言模型的性能。

    May, 2024

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为BlockPruner的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • PAT：大语言模型的剪枝感知调优

    本研究解决了大语言模型在内存和计算需求方面的挑战，提出了一种新颖的剪枝感知调优（PAT）方法，以在模型微调的同时进行结构剪枝，最大程度地保留模型性能。关键发现是，该方法通过引入混合稀疏化模块（HSM）实现了更高的效率与性能，实验表明与LoRA微调模型相比，显著提高了速度与准确性。

    Aug, 2024

  • 充分利用您的模型：微调和应用预训练变换器的方法

    本研究解决了微调预训练变换器模型效率与功能的不足，提出了两种新微调方法。其中一种通过引入递归机制提升变换器解码器的效率，另一种则使得掩蔽语言模型可用于非自回归序列到序列变换器的初始化，扩展其生成应用。研究显示，新技术可在不额外微调的情况下改善变换器解码器的预测质量，具有重要的实践价值。

    Aug, 2024