Aug, 2023

D4: 通过文档去重和多样化提升 LLM 预训练

PDF
TL;DR通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。
language modelsdata selectionpre-trainingdownstream performanceefficiency gains
发现论文，激发创造
  • 面对 Token 危机下放大 LLM：重复还是不重复的思考

    本研究旨在通过重复预训练数据来加强大型语言模型。然而，该方法容易导致过拟合，除非使用适当的正则化方法，其中最有效的是 dropout。同时，本研究还探索了数据集大小，模型参数和训练目标等因素对多重训练期恶化的影响，以及混合专家方法如何提高密集大型语言模型的计算效率和性能。

    May, 2023

  • 大规模语言模型引导的文档选择

    LLM 预训练模型通过精心选择文档，可以在仅使用部分 FLOPs 的情况下实现与完整训练相当的模型质量；通过使用提示的 LLM 作为文档评分器，我们将质量标签提取并应用于大规模的互联网抓取数据集，以自动筛除部分文档，从而更好地匹配性能，并通过在上下文中学习来提高标签模型的性能。

    Jun, 2024

  • 基于大型语言模型的文档扩展预训练用于密集式段落检索

    利用 LLM（大型语言模型）进行文档扩展进行预训练，显著提升了大规模网络搜索任务中的检索性能。

    Aug, 2023

  • 通过机器学习去除预训练数据对大型语言模型的影响解析

    通过对 LLMs 的 48 个数据集进行系统分析，我们测量了它们对 LLMs 的性能的影响，并研究了它们之间的相关关系，从而为更有效的 LLMs 预训练提供了洞见。

    Feb, 2024

  • 如何培训数据高效的 LLMs

    通过数据的有效利用，我们研究了大型语言模型的训练，提出了基于数据选择的技术并优化了模型质量和训练资源的消耗。我们的方法能在最大程度上提高覆盖率和多样性，同时以高效的方式训练模型。

    Feb, 2024

  • 数据去重对语言模型的训练有益

    研究发现现有的语言模型数据集包含大量近似重复的示例和长的重复子串。因此，在这些数据集上训练的语言模型的超过 1％的非提示输出是直接从训练数据复制的。我们开发了两个工具，使我们能够定位训练数据集中的冗余数据，以便通过去重来训练模型，减少内存化文本的发生。这也减少了训练和测试重叠，从而提高了模型的准确性。我们在指定的 https 网址上发布我们的工作和代码。

    Jul, 2021

  • 面向自然语言处理的预训练表征的高效主动学习

    通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

    Feb, 2024

  • 当少即是多：探究大规模预训练 LLMs 的数据修剪

    通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误 L2 范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的 30% 进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

    Sep, 2023

  • LLM2LLM：利用新的迭代数据增强提升 LLM 模型

    使用以预训练大型语言模型（LLM）为基础的 LLM2LLM 方法，通过数据增强和迭代，显著提高 LLM 在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的 LLM 解决方案铺平了道路。

    Mar, 2024

  • 简单且可扩展的策略，用于持续预训练大型语言模型

    大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。

    Mar, 2024