Mar, 2024

技术报告：更好混合的竞争解决方案

PDF
TL;DR在大规模模型时代，选择和优化海量复杂数据集以提高大型语言模型的性能，在有限的计算资源约束下成为一项重大挑战。本文详细介绍了我们在 BetterMixture 挑战中的解决方案，着重于对大型语言模型进行微调数据混合。我们的方法在数据去重、低级和高级质量过滤以及多样性选择方面表现出色，在处理和优化大型语言模型的数据方面，基于 Data-Juicer 的扩展工具 Ke-Data-Juicer 使其具备了强大的能力。
发现论文，激发创造
  • Data-Juicer：大型语言模型的一站式数据处理系统

    我们提出了一种强大而灵活、易于使用的数据处理系统 Data-Juicer，它提供了 50 多种内置的多功能操作符和可插拔工具，通过可视化和自动化评估能力，加快数据处理并获得数据洞察力，提供用户友好的界面并发布多种数据配方，同时实现高效和可扩展的数据处理。

    Sep, 2023

  • 数据混合规律：通过预测语言建模性能来优化数据混合

    预训练数据、语言模型、数据混合规律、模型性能和数据计划

    Mar, 2024

  • 语言模型预训练的高效在线数据混合

    研究论文通过开发一种高效的在线数据混合算法（ODM），结合了数据选择和数据混合的元素，优化了训练过程中的数据混合比例，提高了大型语言模型的性能。

    Dec, 2023

  • 数据混合的高效实现：语言模型预训练的双变量缩放法

    本研究提出了一种统一的缩放定律 BiMix，准确地模拟了数据数量和混合比例的双变量缩放行为，通过使用低成本的代理策略优化数据筛选，以提高训练效率。实验证据表明，基于熵驱动的无需训练的数据混合方法可以实现与更消耗资源的方法相媲美甚至更好的性能。我们希望这些定量研究结果能为高效语言建模的进一步研究和开发提供启示。

    May, 2024

  • 利用预训练语言模型的快速调优竞赛解决方案技术报告

    本报告是关于在预训练语言模型中应用黑盒调整以进行 few-shot 学习的研究。 我们提出了基于 LMaaS 场景的解决方案，包括多标签词、P0 选择、滚动更新策略、MLP 分类器的多任务损失以及使用集成方法进一步提高广义化能力。 最后，我们提出了有关 SNLI 数据集对结果影响的问题，以及我们对比赛的担忧。

    Dec, 2022

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 动态数据混合最大化专家混合模型的指令调优

    基于混合专家模型（Mixture-of-Experts），提出了一种动态数据混合的处理方法以优化模型性能，通过动态地调整训练数据的采样权重，减少数据集中的冗余，从而在有限的训练预算下最大化整体性能。

    Jun, 2024

  • 在联合多语言空间中过滤和挖掘并行数据

    通过联合多语句嵌入学习并利用在不同语言中句子之间的距离来过滤嘈杂的平行数据和在大型新闻集合中挖掘平行数据。不同于翻译系统的体系结构，这种方法可以应用于多种语言对，并在 BUCC 共享任务中获得有竞争力的结果，用于识别可比较语料库中的平行句子。

    May, 2018

  • 技能混合：学习为优化大型语言模型的数据使用进行微调

    我们提出了一种通用的、模型无关的强化学习框架 Mixture-of-Skills (MoS)，它能在微调过程中自动优化数据使用，以实现大型语言模型的全面技能发展。我们通过在两个广泛使用的基准测试上进行大量实验证明 MoS 显著提高了模型性能，同时在任务特定微调方面，我们提出了一种适应性技术 MoSpec，为特定目的利用各种数据集的效用。我们的工作强调了数据集的再平衡的重要性，并将 MoS 提出为优化大型语言模型微调过程中数据使用的强大通用解决方案。

    Jun, 2024

  • 有效微调 LLM 的多维数据精炼策略

    这篇论文介绍了在获取足够数据用于微调越南语言模型时所面临的挑战，以及使用这些数据进行微调得到的越南语模型的良好性能，提供了针对将来微调越南语等语言模型的实际解决方案和指导。

    Nov, 2023