ACLMay, 2024

关键学习时期：利用早期训练动态进行高效数据修剪

PDF
TL;DR我们提出了一种新的数据修剪技术：Checkpoints Across Time (CAT)，通过利用早期模型训练动态来识别对模型性能最相关的数据点，实现了在减少 50% 的训练数据的同时，与使用完整数据集的性能相当，且优于其他数据修剪技术。
neural machine translationdata pruningcheckpoints across timemodel performancetraining data
发现论文，激发创造
  • 从密集到稀疏：对比剪枝用于更好的预训练语言模型压缩

    我们提出了一种名为 ContrAstive Pruning（CAP）的模型压缩框架，它保留了先前模型的任务不可知知识和任务特定知识，并证明了该方法在极高稀疏度情况下均能显著提高模型性能。

    Dec, 2021

  • 数据饮食中的 NLU: 动态数据子集选择用于 NLP 分类任务

    本研究提出了一种基于动态数据修剪的方法，使用 EL2N 度量和初始微调阶段，在保持完整准确性的同时，可将数据量减少 50%~80% 以大大减少微调时间，并在 GLUE 基准测试和四个联合 NLU 数据集上展现出更好的时间 - 准确性平衡。

    Jun, 2023

  • 神经语言模型修剪用于自动语音识别

    我们研究了应用于基于 Transformer 的语音识别神经网络语言模型的模型修剪方法。我们探究了修剪框架的三个方面，即准则、方法和调度器，分析了它们在准确性和推理速度方面的贡献。除此之外，我们提出了一种适用于渐进式压缩模型、并可以交付多个具有不同目标尺寸的模型的低秩逼近的变体。我们的研究结果包括：a）在多种场景中，数据驱动的修剪效果优于基于幅度的修剪；b）渐进式修剪相比一次性修剪在准确性方面有更好的表现，特别是在目标尺寸较小时；c）对于中等压缩程度，低秩逼近提供了尺寸减小和推理加速之间的最佳平衡。

    Oct, 2023

  • Mini-GPTs: 基于上下文剪枝的高效大型语言模型

    利用上下文剪枝技术开发 Mini-GPT 来优化大型语言模型（LLMs），通过对传统 LLMs 的计算架构进行剪枝，保留核心功能同时大幅减小模型大小，此方法在多样且复杂的数据集上展现了高效性和有效性，作为构建领域特定 LLMs 的潜力方法，是未来发展的基石。

    Dec, 2023

  • COPAL：大型语言生成模型的持续剪枝

    本文提出了 COPAL 算法（COntinual Pruning in Adaptive Language settings）用于在持续的模型适应环境中对大型语言生成模型进行修剪，通过敏感性分析引导修剪过程，从而提高模型适应新领域的能力并增强资源效率。实证评估表明，COPAL 在效率和适应性方面优于基准模型。

    May, 2024

  • CLIP: 用更少的数据更快地训练

    该论文提出了一种名为 CLIP 的新型数据处理方法，该方法集成了课程学习和数据集修剪，通过迭代数据修剪来提高模型的学习精度和收敛速度。在人群密度估计模型上进行了大量实验，结果表明，将数据修剪视为课程学习的嵌入过程是新颖的，此方法可以通过减少收敛时间和提高泛化能力来提高训练的效率。

    Dec, 2022

  • 基于 LLM 的边缘计算设备上的时间序列数据分析知识修剪

    在本文中，我们提出了知识修剪（Knowledge Pruning，KP）这一新的范式用于时间序列学习，通过对冗余知识进行修剪和提炼，我们有效地学习到了相关知识，并在资源受限的环境中取得了令人满意的性能。

    Jun, 2024

  • 基于概念聚类复杂性的大规模网络数据集的有效剪枝

    利用大规模网络数据集进行训练会消耗可观的计算资源，本文研究通过修剪大规模多模态数据集来提高训练效率，并通过筛选高质量数据集以降低训练成本，从而在 ImageNet 数据集上取得了更好的性能。

    Jan, 2024

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • 当少即是多：探究大规模预训练 LLMs 的数据修剪

    通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误 L2 范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的 30% 进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

    Sep, 2023