Apr, 2024

预训练语言模型中的非英文对齐引导

PDF
TL;DR基于对有关预先令牌指导跨语言生成的依赖性的重要洞察，我们提出了一种名为 PreTTY 的新型无需训练的对齐方法，用于在基础 LLM 和 SFT LLM 之间建立桥梁，以实现可比较的性能。在八种语言上进行的机器翻译和词性标注实验表明，PreTTY 在跨语言环境中具有很高的效能。这种方法是 SFT 的一种经济高效的替代方案，推动了多语言 LLM 的民主化。
supervised fine-tuningcross-lingual generation tasksalignment methodprettymultilingual llms
发现论文，激发创造
  • PAFT：一种用于有效的 LLM 微调的并行训练范式

    利用新的并行训练范式，这篇论文介绍了 PAFT，它独立对大语言模型进行 SFT 和偏好对齐，并通过参数融合将它们合并成一个用于下游应用的最终模型，提高了模型的性能。

    Jun, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 一种基于偏好的增强翻译的范式与大型语言模型

    通过基于 Plackett-Luce 模型的基于偏好的方法，成功突破了以模仿为基础的 SFT 的平台效应，从而实现了在各种 LLM 和测试环境中的性能优势。

    Apr, 2024

  • 预训练后的对齐：通过跨语言对齐提升多语生成模型

    通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

    Nov, 2023

  • 借助语言对齐将大型语言模型推广到非英语语境

    通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型 42.50%，在汉语人文任务上超过英语模型 8.2%。同时发现，使用非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，语言模型内部的语义对齐能够进一步加强。

    Aug, 2023

  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023

  • 基于上下文学习的重新思考对齐的解锁咒语

    通过对基于 SFT 和 RLHF 的对齐方法的分析，我们发现通过 ICL 方法 URIAL，使得基于语言模型的对齐方法不再需要 SFT 或 RLHF 来实现高效对齐，并且实验证明 URIAL 的性能与基于 SFT 或 SFT+RLHF 的方法相媲美甚至更优。这些结果表明，对于未来的 LLM 研究来说，更深入的对齐分析和理论理解至关重要。

    Dec, 2023

  • 利用混合自然语言反馈对语言模型进行微调的 LaFFi

    该论文介绍了一种名为自然语言反馈微调 LLM（LaFFi）的替代方法，通过要求 LLM 直接预测从评注者那里得到的反馈，显著提高了领域内问答任务的准确性，为自然语言反馈在 SFT LLMs 领域的应用提供了一个有前途的方向。

    Dec, 2023

  • 超越模仿：利用细粒度质量信号进行对齐

    我们提出了一种名为 FIGA 的改进对齐方法，通过利用细粒度的质量信号，即对比好坏回答的方式，指导大型语言模型的对齐学习。实验证明了我们的方法的有效性。

    Nov, 2023

  • 通过翻译跟随示范提升面向指导训练大型语言模型的跨语言能力

    通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

    Aug, 2023