Jul, 2024

RegMix: 以数据混合作为语言模型预训练的回归方法

PDF
TL;DR使用回归模型自动识别高性能的数据混合，通过联合所有领域一起考虑以捕捉复杂性，RegMix 方法超过人工选择，并且仅使用 10％的计算预算实现与 DoReMi 相比匹配或更好的结果。
data mixtureregmixlarge language modelperformanceregression model
发现论文，激发创造
  • 数据混合规律：通过预测语言建模性能来优化数据混合

    预训练数据、语言模型、数据混合规律、模型性能和数据计划

    Mar, 2024

  • 语言模型预训练的高效在线数据混合

    研究论文通过开发一种高效的在线数据混合算法（ODM），结合了数据选择和数据混合的元素，优化了训练过程中的数据混合比例，提高了大型语言模型的性能。

    Dec, 2023

  • Mixout：一种有效的正则化方法，用于微调大规模预训练语言模型

    本文提出了一种新的正则化技术，名为 “mixout”，并在预训练语言模型上的下游任务中展示了其稳定性和准确性的提高。

    Sep, 2019

  • DoReMi: 优化数据混合加速语言模型预训练

    本篇论文介绍了一种名为 DoReMi 的方法，用于通过预训练数据域的混合比例来提高语言模型性能，该方法先使用集合分布稳健优化（Group DRO）对数据域进行小型代理模型训练来生成域权重，然后使用这些域权重对数据集进行再采样并训练更大的模型。在实验中，该方法提高了在所有域上的 perplexity ，并在几乎不增加训练步骤的情况下将平均 downstream accuracy 提高了 6.5％。

    May, 2023

  • 数据混合的高效实现：语言模型预训练的双变量缩放法

    本研究提出了一种统一的缩放定律 BiMix，准确地模拟了数据数量和混合比例的双变量缩放行为，通过使用低成本的代理策略优化数据筛选，以提高训练效率。实验证据表明，基于熵驱动的无需训练的数据混合方法可以实现与更消耗资源的方法相媲美甚至更好的性能。我们希望这些定量研究结果能为高效语言建模的进一步研究和开发提供启示。

    May, 2024

  • 混合正则化在强化学习中的泛化性能提升

    研究使用 mixreg 方法，从不同训练环境混合观察样本进行训练，并对观察插值和监督插值施加线性约束，从而提高数据多样性和学习平滑策略的效果，在大规模 Procgen 基准测试中取得了较好的性能。

    Oct, 2020

  • RegMixup：使用 Mixup 作为正则化器，出乎意料地可以提高精度和外部数据稳健性

    利用 Mixup 作为标准交叉熵损失的额外正则化器，可以提高其精确度并在各种协变量转移和超出分布检测实验中显著提高其预测不确定性的质量。通过对视觉数据集 (ImageNet ＆ CIFAR-10/100) 的深入分析和实验来展示我们的方法（RegMixup）的功效，并与一系列最新方法进行比较，以实现可靠的不确定性估计。

    Jun, 2022

  • RC-Mixup：用于回归任务的对抗噪声数据的数据增强策略

    我们研究了在存在噪声数据的回归任务中的鲁棒数据增强问题。我们提出了将 C-Mixup 和多轮鲁棒训练方法紧密结合的数据增强策略 RC-Mixup，以识别干净数据并显著提高回归性能。

    May, 2024

  • 基于变压器模型的回归混合模型的最优学习

    通过研究 transformers 在混合回归问题中的表现，我们发现它可以学习到一个最优预测器，在数据生成过程中表现出低均方误差，并且在推断时做出接近最优的预测。同时，我们证明了最优预测器可以通过 transformer 实现。

    Nov, 2023

  • 技术报告：更好混合的竞争解决方案

    在大规模模型时代，选择和优化海量复杂数据集以提高大型语言模型的性能，在有限的计算资源约束下成为一项重大挑战。本文详细介绍了我们在 BetterMixture 挑战中的解决方案，着重于对大型语言模型进行微调数据混合。我们的方法在数据去重、低级和高级质量过滤以及多样性选择方面表现出色，在处理和优化大型语言模型的数据方面，基于 Data-Juicer 的扩展工具 Ke-Data-Juicer 使其具备了强大的能力。

    Mar, 2024