COLINGApr, 2024

多语言脑外科医生：可压缩大型语言模型，保留全部语言

PDF
TL;DR本研究介绍了一种新颖的多语言 LLM 压缩方法 ——Multilingual Brain Surgeon（MBS），它通过按照模型训练数据集中语言分布的比例对各种语言进行校准数据抽样，克服了现有方法中以英语为中心的限制，并改善了现有英语为中心的压缩方法在低资源语言上的性能，从而提出了一种创新的多语言 LLM 压缩方法，解决了性能差异和提高了现有压缩技术的语言包容性。
发现论文，激发创造
  • 压缩多语言机器翻译模型遗漏了什么？

    本研究分析了压缩技术对多语言神经机器翻译模型性能的影响，发现压缩方法会导致低资源语言的性能显著下降，甚至会放大内在的性别和语义偏差。

    May, 2022

  • 多语言大型语言模型综述：语料库、对齐和偏差调查

    该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨 MLLMs 的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。

    Apr, 2024

  • 多语言大型语言模型与多语言性诅咒

    多语言大型语言模型在自然语言处理领域的研究人员和从业者中广受欢迎。本文介绍了多语言大型语言模型的技术方面，并对其底层架构、目标函数、预训练数据来源和分词方法进行了概述。此外，还探讨了不同模型类型的独特特征，包括仅编码器模型、仅解码器模型和编码器 - 解码器模型。同时，还讨论了多语言大型语言模型的一个重要局限性，即多语言之间的相互影响问题，并探究了克服这一问题的当前尝试。

    Jun, 2024

  • 大型语言模型的模型压缩综述

    该论文提供了针对大型语言模型的模型压缩技术的综述调查，涵盖量化、修剪、知识蒸馏等各种方法，并探讨了压缩后的大型语言模型的基准策略和评估指标，旨在促进效率和实际应用的提升，为领域的未来发展奠定了基础。

    Aug, 2023

  • 通过多指令训练教授一种多语言的大型语言模型理解多语言语音

    利用多语言语言模型与多语言语音编码器，本研究提出 BLOOMZMMS，旨在为语音识别及其它领域利用大型语言模型的能力。通过多指令训练方法，我们验证了从文本到语音模态的语言知识的可传递性。实验证明，可以有效地学习并使多语言语音表征与多语言语言模型对齐。尽管初始表征在任务泛化方面存在局限性，但我们通过生成多指令样式的合成目标解决了这个问题。零样本评估结果证实了我们的方法在多种任务上的强大鲁棒性，包括语音翻译和多语言口语理解，从而为语音领域应用大型语言模型开辟了新的途径。

    Apr, 2024

  • 优化多语言大型语言模型的语言增强：以韩文为例的案例研究

    本研究提出了三种策略以增强不太具备资源的语言在大型语言模型中的表现：扩展词汇表、使用双语数据进行预训练以对齐高资源语言和低资源语言、构建高质量的小规模指令数据集并进行指令微调。通过对比八个任务的其他大型语言模型，在质量分析中，我们的提出的 Bllossom 模型表现出优异的性能。

    Mar, 2024

  • 超越英语的 LLMs：通过跨语言反馈扩展 LLMs 的多语言能力

    通过构建两个数据集，将 LLaMA 和 BLOOM 的多语言能力扩展到 100 种语言，并使用 DPO 算法对 LLMs 进行与人类反馈的对齐，实现了对 100 种语言的支持，从而定义了最新的、支持 100 种语言的多语言 LLMs 的最新技术。

    Jun, 2024

  • 压缩多语言模型的有趣属性

    本文研究了在多语种预训练语言模型中采用压缩技术的影响，在 40 种语言的 mBERT 命名实体识别模型上，发现压缩技术会提高模型的鲁棒性和低资源语言的性能。

    Nov, 2022

  • 大型语言模型：优秀的自发多语种学习者 —— 多语种标注数据是否必要？

    通过多语言对齐方法，本文研究了大型语言模型的多语言能力提升，发现即使在没有注释答案的情况下，仅通过问题翻译数据进行训练的语言模型能够在广泛的未见过的语言中获得显著的性能提升，并利用不同的设置和机理解释方法对多语言场景下的语言模型性能进行了全面分析。

    May, 2024

  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023