ACLMay, 2023

有影响力的子集选择用于语言模型的告别漫无目的的大规模预训练

PDF
TL;DR本文提出了一种基于 Influence Subset Selection（ISS）的方法，利用端到端任务知识选择一个较小的语言模型预训练语料库子集，并以较低的计算成本获得与 RoBERTa 等大型预训练模型相媲美的性能。
pretrained language modelsinfluence subset selectionend-task knowledgegradient matching based influence estimationcomputational cost
发现论文，激发创造
  • INGENIOUS: 使用信息丰富的数据子集高效预训练大型语言模型

    通过使用具有高度信息量的训练数据子集训练预训练语言模型，同时保持下游性能，我们展示了如何利用子模块优化来选择高度代表性的训练语料库子集，以有效地训练多个预训练语言模型。

    May, 2023

  • 自我引导的数据重新加权用于语言模型预训练

    我们提出了 PRESENCE 方法，通过利用自我影响（SI）得分作为样本重要性和预训练的指标来共同重新加权样本，从而促进模型预训练的新颖性和稳定性，填补了在预训练语言模型中采用模型驱动的样本重新加权的重要领域的空白。

    Nov, 2023

  • 高效语言数据抽样的规模化影响分数

    应用影响力分数评估语言分类任务，通过修剪训练数据来量化准确性变化，并提供基于分数采样的建议，以提高准确性和训练效率。

    Nov, 2023

  • Less Is Better: 通过影响函数进行无权数据子采样

    本研究提出了一种新的非加权数据子采样（UIDS）方法，并证明通过我们的方法获取的子集模型可以优于完整集模型。同时，我们开发了一种概率取样方案，以控制接近经验分布的所有分布的最坏情况风险，实验结果证明了我们方法在文本分类，图像分类，点击率预测等各种任务中优于现有的子采样方法。

    Dec, 2019

  • 语言模型预训练的不可简化课程

    提出了一种用于大型语言模型预训练的不可约课程算法，通过模拟训练轨迹中的样本损失，以提高学习性，实验证明在各个领域中都能提高验证困惑度，并且降低网络的尖锐度，在 MMLU 基准上表现出更好的 5-shot 准确度。

    Oct, 2023

  • 通过重要性重采样进行语言模型数据选择

    本文介绍了一种基于重要性重采样的数据选择算法，该算法可以在减少特征空间的基础上从大型无标签数据集中选择与目标分布匹配的样本子集。在训练通用领域（例如维基百科）和特定领域的语言模型时，该算法能够显着提高模型的性能。

    Feb, 2023

  • LESS: 选择影响力数据以进行目标指导优化

    我们提出了 LESS，这是一种优化感知且实际高效的算法，用于有效估计数据影响并执行用于指令数据选择的低秩梯度相似性搜索。实验表明，在多样的下游任务中，使用 LESS 选中的 5% 的数据进行训练通常优于全数据集的训练。此外，所选数据具有高度可迁移性：可以利用较小的模型为较大的模型以及来自不同家族的模型选择有用的数据。我们的定性分析表明，我们的方法超越了表面形式线索，能够识别出在预期的下游应用中体现必要推理技能的数据。

    Feb, 2024

  • MATES: 基于模型的数据选择与数据影响模型的高效预训练

    使用模型感知数据选择方法 (MATES) 能够在预训练模型中持续调整数据选择，契合当前预训练进展并在后续任务中显著提高性能。

    Jun, 2024

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • 基于有限领域数据的廉价推理专用语言模型

    大语言模型在应用到缺乏大量推理预算和大量领域内训练集的任务中具有多样性，但具有挑战性。本研究规范了这些约束，并区分了四个重要变量：预训练预算（用于在目标领域之前进行训练）、专业预算（用于在目标领域之后进行训练）、推理预算和领域内训练集的大小。在这些设置中，我们比较了机器学习文献中的不同方法。受到推理成本的限制，我们找到了比训练非常大的基础变压器模型更好的替代方案。特别是，我们发现超网络和专家混合模型对于大的预训练预算具有更好的困惑度，而在重要抽样数据集上训练的小型模型对于大的专业预算是有吸引力的。

    Feb, 2024