Nov, 2022

数据低基变压器：基于梯度裁剪的重要实例查找

PDF
TL;DR在该论文中，我们首次将 GraNd 和 EL2N 这两个用于发现重要样本的梯度基于评分指标，应用于 NLP，证明了我们可以通过剪枝训练集中最高 GraNd / EL2N 得分的一小部分样本，不仅可以保持测试准确性，而且可以超越它。
pre-trained language modelstraining set pruninggrandel2nnlp
发现论文，激发创造
  • 数据减肥下的深度学习：在训练早期找到重要例子

    本文介绍了一种利用 Gradient Normed (GraNd) 和 Error L2-Norm (EL2N) 这两个简单的得分标准来识别深度学习中最重要的数据训练样本，并进行数据修剪以提高模型效果的方法，同时研究了数据分布对模型损失面的影响及模型中比较稳定的数据表示子空间等训练动态。

    Jul, 2021

  • 数据选择的熵和边缘得分指标的全面基准评估

    在工业规模的环境中，特别是在资源有限的语言中，我们通过熵和 EL2N 评分来评估潜在的训练样本的 “有用性” 或 “难度”，并展示了如何使用这些度量来选择用于训练监督机器学习模型的重要样本。我们使用这些度量从大量的 “弱信号标记” 数据中筛选高质量的数据集，然后进行以评分为基础的选择来增强训练数据实验，与随机选择的基线技术相比，结果显示了语义错误率下降 2% 和领域分类错误率下降 4%-7%。

    Nov, 2023

  • 数据饮食中的 NLU: 动态数据子集选择用于 NLP 分类任务

    本研究提出了一种基于动态数据修剪的方法，使用 EL2N 度量和初始微调阶段，在保持完整准确性的同时，可将数据量减少 50%~80% 以大大减少微调时间，并在 GLUE 基准测试和四个联合 NLU 数据集上展现出更好的时间 - 准确性平衡。

    Jun, 2023

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 使用无需访问任何训练或测试数据的泛化度量评估自然语言处理模型

    本文研究了自然语言处理模型中，关于深度神经网络的推广问题，提出了几种新的推广度量标准并作了实证研究。研究表明，通过拟合嵌入矩阵的形状的度量标准与与推广表现有着更强的相关性。

    Feb, 2022

  • 语法错误修正的数据加权训练策略

    本文通过使用新方法生成大量嘈杂的预训练数据以及发布质量更高的有限调整数据，解决了语法错误纠正领域的数据稀缺问题；同时，通过在小型、高质量数据集上导出大型预训练数据的示例级分数，针对 delta-log-perplexity 进行实证研究，以最佳方式将其纳入 GEC 的训练计划中，从而实现对 GEC 测试集的最佳结果。

    Aug, 2020

  • 高效语言数据抽样的规模化影响分数

    应用影响力分数评估语言分类任务，通过修剪训练数据来量化准确性变化，并提供基于分数采样的建议，以提高准确性和训练效率。

    Nov, 2023

  • 关键学习时期：利用早期训练动态进行高效数据修剪

    我们提出了一种新的数据修剪技术：Checkpoints Across Time (CAT)，通过利用早期模型训练动态来识别对模型性能最相关的数据点，实现了在减少 50% 的训练数据的同时，与使用完整数据集的性能相当，且优于其他数据修剪技术。

    May, 2024

  • 超越神经网络规模定律：通过数据修剪击败幂律缩放

    通过使用高质量的数据剪枝度量来破解神经网络权重学习数据集大小的幂律估计，可以实现更好的误差缩放。本文进行了实证研究，并测试了十种不同的数据剪枝度量，发现现有的大多数度量在 ImageNet 上表现不佳。作者因此开发了一种新的自监督剪枝度量，具有与最佳监督度量相当的性能。研究表明，发现好的数据剪枝度量可能是深度学习资源消耗大幅降低的一个可行途径。

    Jun, 2022

  • 透过梯度学会使用新标记进行神经文本生成

    本文引入了 ScaleGrad，一种对梯度的改进方法，解决了 MLE 在训练模型中会优先使用枯燥、重复短语的问题，并通过直接操纵梯度信息使模型学习使用新颖标记，该方法不仅在无限制生成中表现良好，而且在定向生成任务中也有效。

    Jun, 2021