May, 2023

LACoS-BLOOM：基于对比目标的 8 位 Siamese-BLOOM 低秩适应

PDF
TL;DR本文介绍了一种低秩适配器、基于对比目标的多语言大型语言模型 Siamese-BLOOM 和可扩展适配器 LoRA 以及 8 位 Adam 优化器，用于句子相似性分类。通过在 BLOOM 模型上应用对比目标的 Siamese 架构，解决了多语言标记数据稀缺的问题，并证明了从 LACoS-BLOOM 中学习到的嵌入质量与模型参数数量和未标记的训练数据量成比例，相对于以前的解决方案 Sentence-BERT，在英语和多语言 STS 任务上均取得了显着的改善。
发现论文，激发创造
  • BLOOM: 一种含 176B 个参数的多语言开放访问语言模型

    BLOOM 是一个 176B 参数的解码器 - 只有 Transformer 语言模型，它使用 ROOTS 语料库进行训练，并在多任务提示微调后达到了竞争力强的结果。该研究呼吁公开此类研究并在负责任的 AI 许可下发布其模型和代码，以便未来的研究和应用。

    Nov, 2022

  • 理解 BLOOM：多元自然语言处理任务的实证研究

    通过评估较小的 BLOOM 模型变体（350m / 560m 和 1b3 / 1b7），我们发现：（1）与 GPT 和 BERT 等 LLM 不同，BLOOM 表现不随参数大小变化；（2）跨语言和多语言微调实验证明 BLOOM 与单语 GPT-2 模型相当或更差；（3）使用 RealToxicityPrompts 数据集的提示文本生成的毒性分析表明，BLOOM 生成的文本至少比 GPT-2 和 GPT-3 模型不良反应低 17％。

    Nov, 2022

  • 研究大型多语言语言模型的翻译性能：以 BLOOM 为例

    本文评估了覆盖 46 种语言的新型开放访问的大型多语种语言模型 BLOOM 在机器翻译上的表现，结果显示少量样本学习模式下，该模型在许多语言对中表现良好，但 0-shot 性能受到过度生成和错误语言生成的影响。

    Mar, 2023

  • 扩展 BLOOM 的预训练，以改进对繁体中文的支持：模型、方法和结果

    本文介绍了多语言语言模型 BLOOM-zh，以强化对繁体中文的支持。通过在传统中文和英语领域中增加 74 亿个标记的预训练，BLOOM-zh 在大多数传统中文基准测试中优于其前身。

    Mar, 2023

  • BLOOM+1: BLOOM 对零 - shot 提示增加语言支持

    该研究旨在提高 BLOOM 模型在未见过语言上的度量表现。研究发现，通过进行语言适应性策略来提高它的零样本度量表现是有效的，快速微调适配器比继续预训练更有效，语言度量表现主要取决于适应数据的大小。同时，通过将新语言添加到多任务微调混合中可以有效地教授 BLOOMZ 模型一种新语言。

    Dec, 2022

  • 通过多指令训练教授一种多语言的大型语言模型理解多语言语音

    利用多语言语言模型与多语言语音编码器，本研究提出 BLOOMZMMS，旨在为语音识别及其它领域利用大型语言模型的能力。通过多指令训练方法，我们验证了从文本到语音模态的语言知识的可传递性。实验证明，可以有效地学习并使多语言语音表征与多语言语言模型对齐。尽管初始表征在任务泛化方面存在局限性，但我们通过生成多指令样式的合成目标解决了这个问题。零样本评估结果证实了我们的方法在多种任务上的强大鲁棒性，包括语音翻译和多语言口语理解，从而为语音领域应用大型语言模型开辟了新的途径。

    Apr, 2024

  • 深度推荐系统的优化：基于布隆嵌入的稀疏二元输入 / 输出网络

    提出了一种能够在使用深度学习从推荐领域提取数据时对输入和输出进行压缩的方法 Bloom embeddings，并在对七个数据集的测试表明此方法能够提供计算效率和比原始方法更高的准确性。

    Jun, 2017

  • BLoB：大型语言模型的贝叶斯低维度适应

    大语言模型（LLMs）在推断过程中常常过于自信，尤其是当它们适应具有有限数据的下游领域特定任务时。本文通过在 LLMs 训练后采用近似贝叶斯估计的方法来解决这个问题，从而使其能够量化不确定性。然而，这种训练后方法的性能受训练期间学习的参数严重限制。在本文中，我们超越了训练后的贝叶斯化，并提出了一种名为贝叶斯低秩适应的反向传播（BLoB）的算法，该算法在整个微调过程中持续和联合调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在广义化与不确定性估计方面的有效性，同时在分布内和分布外数据上进行评估。

    Jun, 2024

  • Bloom 图书馆：支持 300 多种语言的多模态数据集，可用于各种下游任务

    Bloom Library 是一个多语言多模态数据集；其中含有 363 种语言，是目前包含语言最多的数据集之一，可用于低资源条件下的自然语言处理研究。

    Oct, 2022

  • 跨语言检索增强上下文学习：孟加拉语

    通过跨语言检索增强的方法，我们的研究论文提出了一种创新的方法，利用高资源语言中语义相似的提示来提高多语言预训练语言模型在孟加拉语任务上的性能。详细评估表明，跨语言检索增强的提示对于多语言预训练语言模型的性能有稳定的提升作用。

    Nov, 2023