Feb, 2023

利用数据复用的方式预训练多路复用语言模型 (MUX-PLMs)

PDF
TL;DR该论文提出了一种用于提高模型推断效率的数据复用方法 - 数据多路复用。此外开发了预训练的多路复用语言模型 MUX-PLMs，通过三阶段训练和新颖的复用和解复用模块来提高吞吐量和下游任务准确性，MUX-BERT 和 MUX- ELECTRA 在维持一定性能准确性的情况下，分别实现了 2x/5x 推断加速。
发现论文，激发创造
  • PruMUX：使用模型压缩增强数据复用

    本文介绍一种名为 PruMUX 的新方法，将模型剪枝和数据多路复用方法相结合以提高模型的效率，并通过参数（如稀疏度和复用因子）的综合分析，提出了一种元模型 Auto-PruMUX，可以预测模型剪枝和数据多路复用的高性能参数，以提供一种有效的方法。

    May, 2023

  • DataMUX: 神经网络数据复用

    本文介绍了 DataMUX 技术，通过多路复用层和解复用层，深度神经网络可同时处理多个输入，减少内存需求，具有较高吞吐量，可适用于不同的神经网络结构和任务。

    Feb, 2022

  • DeMuX：数据高效的多语言学习

    优化预训练的多语言模型，在有限的目标数据和注释预算的情况下，使用 DEMUX 框架进行精确的标注点选择，通过距离和不确定性措施选取最具信息量的任务相关邻居，取得优于强基线的效果，特别是在低预算情况下可提高 F1 分数。

    Nov, 2023

  • MAFIA: 多适配器融合式全包含语言模型

    通过使用结构化知识和大型生成模型，在多个偏见维度上以半自动的方式构建多样化反事实数据扩充（CDA），我们提出了一种模块化地消除预训练语言模型中的多个偏见维度。我们强调现有的去偏见方法未考虑多个社会偏见之间的相互作用，并提出了一种在各种社会偏见之间利用协同效应、能够同时进行多偏见去偏见的模型。通过在多个任务和多种语言上进行广泛评估，证明了我们的方法的有效性。

    Feb, 2024

  • 探究大型预训练语言模型在机器翻译中的应用：你所不知道的

    本研究评估了大小不同的预训练语言模型（PLMs），并比较了它们在不同领域机器翻译任务中的性能表现，结果表明，对于临床数据而言，相对较小的 Marian 模型表现更好。

    Sep, 2022

  • 利用语言模型生成训练数据：走向零样本语言理解

    本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

    Feb, 2022

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • ELLE: 面向新兴数据的高效终身预训练

    本研究提出了一种名为 ELLE 的模型，旨在通过 PLM 扩展和预训练域提示来实现高效的终身预训练，从而适应不断增长的流式数据，并在 BERT 和 GPT 上进行了实验，结果表明在预训练效率和下游性能方面 ELLE 优于各种终身学习基线。

    Mar, 2022

  • D4: 通过文档去重和多样化提升 LLM 预训练

    通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。

    Aug, 2023

  • 模态即插即用：多模态低水平语言模型中的弹性模态适应

    通过将单模编码器与一组灵活的最后 LLM 块连接并使这些潜在连接在运行时完全可训练，mPnP-LLM 能够实现完全弹性、自动化和及时的运行时模态适应，同时在存在方案的情况下保持相当的准确性。

    Dec, 2023