May, 2023

Bactrian-X: 低秩适应的多语言可复制指令跟随模型

PDF
TL;DR本文介绍了如何使用 Bactrian-X 数据集；使用低秩适应（LoRA）的一组 adapter 进行多语言指令优化，取得了比现有模型更优的效果。
instruction tuningmultilingualdatasetadapterslow-rank adaptation
发现论文，激发创造
  • X-Instruction: 用自动筛选的跨语言指示对低资源语言进行语言模型对齐

    通过在低资源语言中构建跨语言的英文指令样本，可以提高大型语言模型的响应质量。

    May, 2024

  • 从基础到会话：日语指导数据集和调整大型语言模型

    我们构建了一个日本指令数据集，并将其应用于一个日本预训练基础模型。通过我们的指令数据集，对日本和英文现有模型进行了低秩调整（LoRA）。从定量和定性的角度评估了这些模型，结果证实了日本指令数据集的有效性。同时也指出，即使在相对较小的大语言模型中，通过指令调整也能提高下游任务的性能。我们的指令数据集、调整模型和实现代码已在网上公开提供。

    Sep, 2023

  • 调查多语言指令调整：多语模型是否需要多语言指令？

    通过对多种印欧语言中的大规模语言模型进行多语言指令调整数据集上的广泛研究，我们发现使用平行指令调整数据集相比单语数据集能提高跨语言指令遵循能力，还发现大规模指令调整数据集对于多语言 7B 参数模型至关重要，并进行人工注释研究以理解多语言聊天场景中基于人类和 GPT-4 的评价之间的对齐情况。

    Feb, 2024

  • BayLing：面向大型语言模型的交互翻译，通过跨语言对齐和指令跟踪进行桥接

    这篇文章提出了一种新的方法，通过互动翻译任务将英语的语言生成和指令遵循能力转移到其他语言，从而构建面向非英语语言的语言模型 BayLing。实验结果表明 BayLing 在词语翻译和多轮指令跟进等任务上都表现出了优异的性能。

    Jun, 2023

  • 一位教师胜过百万句指令

    我们提出了一种改进的训练方法，使用更大的模型的知识来提高大型语言模型的训练效果，同时利用领域专家模型进行领域对齐，通过这种方法，在性能上超过了具有更大参数数量的现有语言模型。

    Jun, 2024

  • 通过翻译跟随示范提升面向指导训练大型语言模型的跨语言能力

    通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

    Aug, 2023

  • Instruct-Align：基于对齐的跨语言教学，教授 LLMs 的新语言

    本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

    May, 2023

  • Aya 数据集：一份用于多语言指导调优的开放获取集合

    本研究针对英语语言数据集的局限性，通过与全球流利的语言使用者合作，建立了覆盖 65 种语言的人工策划指令跟随数据集，并通过模板和翻译现有数据集创建了迄今最广泛的多语言数据集，共包含 5.13 亿个实例。此外，我们还提供 Aya 注释平台、Aya 数据集、Aya 集合和 Aya 评估套件等四个关键资源，而且 Aya 倡议还是一项有价值的参与性研究案例，涉及来自 119 个国家的合作者，我们认为此为未来旨在弥补资源差距的研究合作提供了宝贵的框架。

    Feb, 2024

  • BiPaR：小说多语言和跨语言阅读理解的双语平行数据集

    本研究提出了 BiPaR—— 一种双语平行小说式机器阅读理解 (MRC) 数据集，它是为支持多语言和跨语言阅读理解而开发的。BiPaR 具有好的问题前缀、答案类型多样性和问题与段落之间的关系多样性，需要核心指代消解、多句子推理和隐含因果关系等阅读理解技能。实验证明，强大的 BERT 模型在这个数据集上与人类之间的差距非常大，BiPaR 为小说的单语、多语和跨语言 MRC 提供了一个具有挑战性的试验平台。

    Oct, 2019

  • PLUG: 跨语言指令调优中的枢纽语言利用

    使用英语作为中心语言，我们提出了一种名为 PLUG 的方法来增强低资源语言中指令调优的能力，通过首先在中心语言处理指令，然后在目标语言进行回应，我们的方法相较于仅在目标语言回应指令的能力提高了 29%。

    Nov, 2023