Nov, 2022

理解 BLOOM：多元自然语言处理任务的实证研究

PDF
TL;DR通过评估较小的 BLOOM 模型变体（350m / 560m 和 1b3 / 1b7），我们发现：（1）与 GPT 和 BERT 等 LLM 不同，BLOOM 表现不随参数大小变化；（2）跨语言和多语言微调实验证明 BLOOM 与单语 GPT-2 模型相当或更差；（3）使用 RealToxicityPrompts 数据集的提示文本生成的毒性分析表明，BLOOM 生成的文本至少比 GPT-2 和 GPT-3 模型不良反应低 17％。
large language modelsbloombert-style encoder-only modelsnlp benchmark datasetstoxicity analysis
发现论文，激发创造
  • BLOOM: 一种含 176B 个参数的多语言开放访问语言模型

    BLOOM 是一个 176B 参数的解码器 - 只有 Transformer 语言模型，它使用 ROOTS 语料库进行训练，并在多任务提示微调后达到了竞争力强的结果。该研究呼吁公开此类研究并在负责任的 AI 许可下发布其模型和代码，以便未来的研究和应用。

    Nov, 2022

  • 研究大型多语言语言模型的翻译性能：以 BLOOM 为例

    本文评估了覆盖 46 种语言的新型开放访问的大型多语种语言模型 BLOOM 在机器翻译上的表现，结果显示少量样本学习模式下，该模型在许多语言对中表现良好，但 0-shot 性能受到过度生成和错误语言生成的影响。

    Mar, 2023

  • BLOOM+1: BLOOM 对零 - shot 提示增加语言支持

    该研究旨在提高 BLOOM 模型在未见过语言上的度量表现。研究发现，通过进行语言适应性策略来提高它的零样本度量表现是有效的，快速微调适配器比继续预训练更有效，语言度量表现主要取决于适应数据的大小。同时，通过将新语言添加到多任务微调混合中可以有效地教授 BLOOMZ 模型一种新语言。

    Dec, 2022

  • 通过多指令训练教授一种多语言的大型语言模型理解多语言语音

    利用多语言语言模型与多语言语音编码器，本研究提出 BLOOMZMMS，旨在为语音识别及其它领域利用大型语言模型的能力。通过多指令训练方法，我们验证了从文本到语音模态的语言知识的可传递性。实验证明，可以有效地学习并使多语言语音表征与多语言语言模型对齐。尽管初始表征在任务泛化方面存在局限性，但我们通过生成多指令样式的合成目标解决了这个问题。零样本评估结果证实了我们的方法在多种任务上的强大鲁棒性，包括语音翻译和多语言口语理解，从而为语音领域应用大型语言模型开辟了新的途径。

    Apr, 2024

  • 扩展 BLOOM 的预训练，以改进对繁体中文的支持：模型、方法和结果

    本文介绍了多语言语言模型 BLOOM-zh，以强化对繁体中文的支持。通过在传统中文和英语领域中增加 74 亿个标记的预训练，BLOOM-zh 在大多数传统中文基准测试中优于其前身。

    Mar, 2023

  • LACoS-BLOOM：基于对比目标的 8 位 Siamese-BLOOM 低秩适应

    本文介绍了一种低秩适配器、基于对比目标的多语言大型语言模型 Siamese-BLOOM 和可扩展适配器 LoRA 以及 8 位 Adam 优化器，用于句子相似性分类。通过在 BLOOM 模型上应用对比目标的 Siamese 架构，解决了多语言标记数据稀缺的问题，并证明了从 LACoS-BLOOM 中学习到的嵌入质量与模型参数数量和未标记的训练数据量成比例，相对于以前的解决方案 Sentence-BERT，在英语和多语言 STS 任务上均取得了显着的改善。

    May, 2023

  • 理解大型语言模型在对话评估中的效果

    本文探讨了大型语言模型在对话评估上的应用，发现训练模型的数据集的多样性和相关性是影响其性能的关键因素，同时探究了样本数量和使用类型对模型表现的影响。

    Jan, 2023

  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • FinGPT：小语种的大型生成模型

    该研究聚焦于用于芬兰语的大型语言模型（LLMs）的创建和评估，通过从各种来源收集数据并进行预训练，综合其他语言模型的方法，在芬兰语领域取得了显著进展，并对模型的质量进行了评估，包括毒性和偏见。

    Nov, 2023

  • BloombergGPT: 金融领域的大型语言模型

    本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

    Mar, 2023