Apr, 2024

CrossIn：一种跨语言知识对齐的高效指导优化方法

PDF
TL;DR通过使用 CrossIn 方法，利用跨语言指导调整数据的混合构成，我们有效地提升了大语言模型在多语种任务和多语言能力上的表现，并对跨语言数据量和翻译数据的整合对提高多语言一致性和准确性的影响进行了广泛探讨。
multilingual proficiencylarge language modelscrossincross-lingual instruction tuningmulti-task benchmark
发现论文，激发创造
  • 多语言预训练和指导微调在跨语言知识对齐中的改进，但仅限于浅层

    通过跨语言知识对齐（cross-lingual knowledge alignment）的绩效（Performance）、一致性（Consistency）和传导度（Conductivity）来评估大型语言模型（LLMs）中多语言预训练和指令调整的影响，结果表明，尽管多语言预训练和指令调整对跨语言知识对齐有益，但训练策略需谨慎设计，整体来看，所有测试的 LLMs 的跨语言知识传导度仍不理想，多语言预训练和指令调整都无法大幅提高跨语言知识的传导度。

    Apr, 2024

  • X-Instruction: 用自动筛选的跨语言指示对低资源语言进行语言模型对齐

    通过在低资源语言中构建跨语言的英文指令样本，可以提高大型语言模型的响应质量。

    May, 2024

  • Instruct-Align：基于对齐的跨语言教学，教授 LLMs 的新语言

    本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

    May, 2023

  • 仅需一点多语​​言知识的多语​​言教学优化

    通过研究多语言指令调整多语言大型语言模型的效果，我们发现跨语言转移以及将多语言示例用于指令调整对多语言指令跟随具有显著的改进作用。

    Jan, 2024

  • 使用对比校准指示为未见过的低资源语言中的机器翻译调整 LLMs

    该研究引入对比对齐指令（AlignInstruct）来解决机器翻译在大型语言模型上的两个挑战，即将支持的语言扩展到之前未曾见过的语言和低资源语言中数据匮乏问题。通过机器翻译指令（MTInstruct）对模型进行微调是解决第一个挑战的一种简单方法。然而，MTInstruct 受第二个挑战中固有的弱跨语言信号的限制。AlignInstruct 强调通过使用统计词对齐构建的跨语言鉴别器进行跨语言监督。研究结果表明，对 BLOOMZ 模型（1b1，3b 和 7b1）在多达 24 种未见过的语言上进行微调，得出以下结论：（1）LLM 可以有效地使用 MTInstruct 对未见过的语言进行翻译；（2）AlignInstruct 在涉及英语的 48 个翻译方向上改进了翻译质量的一致性；（3）基于鉴别器的指令表现优于其生成的对等物作为跨语言指令；（4）AlignInstruct 在 30 个零翻译方向上改善了性能。

    Jan, 2024

  • 通过翻译跟随示范提升面向指导训练大型语言模型的跨语言能力

    通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

    Aug, 2023

  • 大型语言模型的指令调优中的零 - shot 跨语言转移

    在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

    Feb, 2024

  • 跨语言零射击泛化在指令调整中的深度探索

    通过跨语言调整指令和数据获取方法，研究表明对未知任务的指令调优在英文和韩文方面都取得了显著的改善效果，与单语指令调优相当甚至有些任务超过，强调了在指令调优过程中通过跨语言数据获取的相关性和语言一致性的重要性。

    Jun, 2024

  • 调查多语言指令调整：多语模型是否需要多语言指令？

    通过对多种印欧语言中的大规模语言模型进行多语言指令调整数据集上的广泛研究，我们发现使用平行指令调整数据集相比单语数据集能提高跨语言指令遵循能力，还发现大规模指令调整数据集对于多语言 7B 参数模型至关重要，并进行人工注释研究以理解多语言聊天场景中基于人类和 GPT-4 的评价之间的对齐情况。

    Feb, 2024

  • 多语言 LLM 通过对齐更好地进行跨语言上下文学习

    本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

    May, 2023