Jun, 2024

DEM：混合数据分布训练的分布编辑模型

PDF
TL;DR提出了一种简单和高效的方法，使用基本的逐元素向量操作将每个数据源上单独训练的模型与基本模型相结合，从而更好地优化数据源，得到一种名为分布编辑模型（DEM）的模型，与标准数据混合相比廉价 11 倍，并在各种基准测试中优于强基准，对大小为 3B 到 13B 的模型分别可以获得 MMLU 的 6.2％改进，BBH 的 11.5％改进，DROP 的 16.1％，HELM 的 9.3％改进。值得注意的是，DEM 在修改单个数据源时不需要完全重新训练，因此非常灵活和可扩展以适应各种数据源的训练。
trainingmixed data distributionsoptimizationmulti-task modelsinstruction-following models
发现论文，激发创造
  • 语言模型预训练的高效在线数据混合

    研究论文通过开发一种高效的在线数据混合算法（ODM），结合了数据选择和数据混合的元素，优化了训练过程中的数据混合比例，提高了大型语言模型的性能。

    Dec, 2023

  • 动态数据混合最大化专家混合模型的指令调优

    基于混合专家模型（Mixture-of-Experts），提出了一种动态数据混合的处理方法以优化模型性能，通过动态地调整训练数据的采样权重，减少数据集中的冗余，从而在有限的训练预算下最大化整体性能。

    Jun, 2024

  • DEMix Layers: 模块化语言建模中的领域解耦

    该研究介绍了一种新的域专家混合层 (DEMix)，能够使语言模型 (LM) 与输入文本的领域相适应。DEMix 层是由专家前馈网络组成的集合，每个专家网络专门处理一个领域，使得 LM 模块化：专家可以在初始训练后混合、添加或删除。该模型在自回归变压器 LM 上进行了广泛的实验 (高达 1.3B 参数)，结果表明 DEMix 层降低了测试时间内的困惑度，提高了训练效率，并允许快速适应而不会增加负担。同时显示，在推断时混合专家，使用无参数加权集成，使模型更好地推广到异构或未见领域。实验还表明，可以添加专家来逐步合并新领域，而不会遗忘旧领域，而且还可以删除专家以限制对不需要的领域的访问，而无需额外的训练。总之，这些结果表明，显式地依赖文本领域进行的语言建模具有益处。

    Aug, 2021

  • 基底混合对可解释连续学习中的分布转移问题

    本文探讨了在数据分布和任务不断变化的情况下，通过一种半监督在线学习和自适应模型选择的方法来解决多任务连续学习问题。实验结果表明，在多个数据领域上，该方法的预测效果优于现有的方法，同时也证明了任务的潜在表示会随着任务边界的变化而改变。

    Jan, 2022

  • 多样化机器翻译的混合模型：实用技巧

    本文研究了通过 EM 训练的混合模型在文本生成方面的应用，通过设计参数、优化模型选择和评估协议，提出了一些更为鲁棒的混合模型，相比于变分模型和多样的解码方法在翻译质量和多样性之间提供了更好的平衡点。

    Feb, 2019

  • DEMO：高效的图像文本匹配的统计视角

    DEMO 是一种用于高效图像 - 文本匹配的新型哈希方法，通过使用多个扩增视角来刻画每个图像，并通过非参数分布差异度量确保稳健且精准的相似性结构，同时引入协作一致性学习来在 Hamming 空间中保持相似性结构、鼓励不同方向的检索分布的一致性，并通过在三个基准图像 - 文本匹配数据集上的广泛实验验证 DEMO 相较于多种最先进方法具有卓越性能。

    May, 2024

  • 分布式学习专家混合模型

    提出了一种分布式学习方法，用于构建一个由本地估计器并行拟合数据子集所组成的大的混合专家模型，通过最小化期望的运输散度来聚合这些本地估计器，并通过提出的主导 - 最小化算法来构造一种计算规模高效的降维估计器。对实验中的统计和数值属性进行了研究，证明了所提供的降维估计器的性能优于从完整数据集中以集中方式构造的全局估计器，有些情况下计算时间比全局估计器快十倍以上，我们的源代码公开在 Github 上。

    Dec, 2023

  • DeMuX：数据高效的多语言学习

    优化预训练的多语言模型，在有限的目标数据和注释预算的情况下，使用 DEMUX 框架进行精确的标注点选择，通过距离和不确定性措施选取最具信息量的任务相关邻居，取得优于强基线的效果，特别是在低预算情况下可提高 F1 分数。

    Nov, 2023

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • 混合专家模型的差分隐私训练

    本研究调查了差分隐私 (Differential Privacy) 在自然语言处理领域中混合专家模型 (Mixture of Experts models) 训练中的整合。通过对大规模语言模型 (Large Language Models) 在数十亿参数上进行训练，利用海量数据集，使其具备了强大的语言能力和新兴的能力，但这一增长带来了重大的计算和隐私问题。我们的研究通过探索具备计算效率的 MoE 模型及 DP 的应用来解决这些问题。我们首次尝试在 DP 的约束下训练 MoE 模型，解决了其架构以及 DP 整合的复杂性所带来的独特挑战。我们的初步实验研究表明，MoE 模型可以通过 DP 有效训练，并与非隐私对照组有竞争力的性能。本次研究旨在为隐私保护的 MoE 模型领域提供有价值的洞察力，为该领域进一步的研究奠定基础，并为未来的发展提供引导。

    Feb, 2024