May, 2024

指令 CP：将大型语言模型快速转换为目标语言

PDF
TL;DR通过 Instruction Continual Pre-training (InsCP) 的方法，可以在维持对话能力的同时，将大型语言模型（LLMs）调整为适应其他语言，从而避免对有害内容过滤的能力下降，且只需要 0.1 十亿个高质量的指令遵循数据的资源消耗相对较低。
large language modelscontinual pre-trainingsupervised fine-tuninginstruction continual pre-trainingreinforcement learning from human feedback
发现论文，激发创造
  • InsCL：一种数据高效的连续学习范式，用于对大型语言模型进行微调并提供指导

    在本研究中，我们提出了一种称为基于指令的连续学习（InsCL）的新范例，通过使用 Wassertein 距离计算任务相似性并基于此动态地回放先前的数据，实现了基于任务相似性的回放策略，同时引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性，并根据 InsInfo 指导回放过程更倾向于高质量的数据。我们在 16 个不同训练顺序的任务上进行了广泛的实验，观察到 InsCL 持续性能改进。当所有任务都训练完毕时，与随机回放相比，InsCL 实现了 3.0 相对增益，与无回放相比，实现了 27.96 相对增益。

    Mar, 2024

  • 不要停止预训练？使基于提示的微调更加强大的学习者

    本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法 (PCP)。实验证明，相较于传统方法，PCP 在 21 个基准测试中表现更好。

    May, 2023

  • 语言模型的持续训练用于少样本学习

    本文提出了连续后训练（CPT）的问题，建议使用一系列未标记的领域语料库不断扩展语言模型的知识，以在领域内改进几次短时间的任务学习的效果，并成功地验证了其有效性。

    Oct, 2022

  • 指导预训练：语言模型是受监督的多任务学习器

    该研究探索了通过提供指令进行预训练的受监督多任务预训练方法，通过使用开源模型构建的高效指令合成器生成指令 - 响应对，验证了指令预训练的有效性，并证明在从头开始的预训练和持续预训练中都能增强预训练模型的性能。

    Jun, 2024

  • 跨语言和渐进式迁移学习实现高效的语言模型训练

    介绍了一种名为 CLP-Transfer 的跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到一个新的目标语言，实现了资源高效的训练，同时解决了资源不足的语言之间的表现差距问题，并比单纯的跨语言传输要好。

    Jan, 2023

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 对大型语言模型进行少样本多语言 NLU 分析与适应：如今已经达到目标了吗？

    三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的 NLU 任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练 LLM 的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经 ICL 引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。

    Mar, 2024

  • 精细调整的语言模型是持续学习者

    通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。

    May, 2022

  • CPM-2：大规模经济高效的预训练语言模型

    本文提出了有效的技术方法，包括知识继承、提示微调、InFmoE，在处理预训练、微调和推理的效率问题上使用大规模的预训练语言模型，并在实验中验证了方法的有效性。

    Jun, 2021

  • 大型语言模型中的指导位置在序列生成中的作用

    通过改变任务指令在输入句子之后的位置，我们提出了一种增强大型语言模型的指令遵循功能的方法，该方法可以显著改善条件序列生成的零样本性能。

    Aug, 2023