Jun, 2024

数据激发您的快乐吗？培训结束时的领域上采样带来的性能提升

PDF
TL;DR通过对小型领域专用数据集进行上采样，以驱动性能在困难基准测试上的改进，本研究揭示了在多样性的一般网络抓取和领域专用数据信息密度之间寻求平衡的最佳方法。
pretraining datasetslarge language modelsdomain-specific dataperformance improvementstradeoff
发现论文，激发创造
  • D4: 通过文档去重和多样化提升 LLM 预训练

    通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。

    Aug, 2023

  • 多领域语言模型高效预训练的实证研究

    通过在多个领域进行预训练和弹性权重整合，可以提高通用和医学任务的性能。

    Oct, 2020

  • 论跨领域数据对德语语言模型的影响

    通过使用不同领域的语料库和不同质量的数据，我们训练了一系列的大语言模型，在多个下游任务中，跨领域数据集训练的模型表现优于仅使用高质量数据训练的模型，前者的性能提升高达 4.45%。

    Oct, 2023

  • FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据

    FineWeb 是一个从 96 个 Common Crawl 快照中派生出的 1500 万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs 在 FineWeb 上预训练表现出更好的知识和推理能力，我们公开释放了数据集、数据整理代码库和所有在消融实验中训练的模型。

    Jun, 2024

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 构建领域特定的大型语言模型的高效连续预训练

    本研究探讨了持续预训练作为开发面向特定领域的大型语言模型的一种替代策略，引入了通过领域自适应持续预训练在金融领域上开发的 FinPythia-6.9B，FinPythia 通过金融任务中持续预训练实现了稳定的改进，并进一步探索了简单而有效的数据选择策略，相较于常规的持续预训练方法，我们的数据选择策略在使用仅 10% 的语料库大小和成本时表现更好，在开放领域的标准任务上没有任何退化。本研究提出了一种以成本效益的方式构建面向特定领域的大型语言模型的替代解决方案。

    Nov, 2023

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 通过减小稳定性差距来实现高效的持续性预训练

    持续预训练是适应大型语言模型（LLM）到新领域的主要方法之一，研究探讨了在这个过程中 LLM 的行为和性能，提出了三种有效策略来增强 LLM 在固定计算资源下的性能，经实验证实这些策略在医学任务性能和通用任务性能方面均取得了令人满意的成果。

    Jun, 2024

  • 当少即是多：探究大规模预训练 LLMs 的数据修剪

    通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误 L2 范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的 30% 进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

    Sep, 2023

  • 大规模语言模型引导的文档选择

    LLM 预训练模型通过精心选择文档，可以在仅使用部分 FLOPs 的情况下实现与完整训练相当的模型质量；通过使用提示的 LLM 作为文档评分器，我们将质量标签提取并应用于大规模的互联网抓取数据集，以自动筛除部分文档，从而更好地匹配性能，并通过在上下文中学习来提高标签模型的性能。

    Jun, 2024