Okapi 是第一个基于 RLHF 进行多语言指导调整的系统，引入 26 种不同语言的指导和回应排序数据，以促进未来多语言 LLM 研究的实验和发展。

Jul, 2023

指令微调方法能够增强大型语言模型在未知任务上的零样本功能，并对其性能和稳健性进行了评估，发现在处理陌生指令时性能显著下降，而对于关系抽取指令的稳健性较问答指令更差。

Aug, 2023

大型语言模型的尺寸不断增加，其卓越性能使得基于人类反馈的强化学习备受关注。本文提出了一个名为 OpenRLHF 的开源框架，通过使用 Ray、vLLM 和 DeepSpeed 重新设计对四个模型的调度以实现对超过 70B 参数的大型语言模型进行有效的强化学习训练。OpenRLHF 与 Hugging Face 无缝集成，并提供了优化的算法和启动脚本，确保用户友好性。

May, 2024

研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。

Dec, 2023

通过创建大规模、高质量、多样化的偏好数据集 ULTRAFEEDBACK，我们训练各种模型来展示其有效性，并在多个基准测试中取得最佳表现。

Oct, 2023

通过借鉴 AI Feedback（AIF）中的偏好数据，我们使用蒸馏的直接偏好优化（dDPO）方法，训练了一种具有显著改进的意图对齐的聊天模型 Zephyr-7B，该方法只需要数小时的训练时间，无需额外采样。该模型在 7B 参数模型的聊天基准测试中表现出色，超过了基于强化学习和高自由度增强（RLHF-based）的最佳开放访问模型 Llama2-Chat-70B，并且无需人工标注。

Oct, 2023

通过使用混合质量数据改进开源语言模型，本论文介绍了一种名为 OpenChat 的新框架，其中以少量的专家数据与大量的次优数据混合构成的一般 SFT 训练数据作为粗粒度奖励标签，通过 C-RLFT 学习类别条件策略，从而实现了在三个标准基准测试中取得最高性能的 openchat-13b 模型。

Sep, 2023

本文介绍了一种基于标签监督的适应大语言模型（LLMs）的方法，通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中，该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Large 和 RoBERTa-Large。此外，通过从解码器中移除因果掩码，LS-unLLaMA 在命名实体识别（NER）中实现了最先进的性能。

Oct, 2023

使用零痕迹、少痕迹和微调模型在纵向情感分析任务上评估了 GPT-4 和 GPT-3.5 的性能，结果显示微调的 GPT-3.5 在 SemEval-2014 任务 4 的联合方面术语提取和极性分类任务上获得了 83.8 的最优 F1 分数，比 InstructABSA 提高了 5.7%，但模型参数增加了 1000 倍，推理成本也增加了。我们讨论了不同模型的性价比和分析了它们的典型错误。同时，我们的研究结果表明，在零痕迹和少痕迹环境中，详细提示可以提高性能，但对于微调模型来说并非必要。这些证据对于在 ABSA 中使用 LLMs 时面临提示工程和微调选择的实践者具有相关性。

Oct, 2023

通过概率排名和上下文排名的方法对已调整过的模型进行微调，最终生成更好回复的模型称为 Tuna，能够优于强化学习基线模型，提高对各种任务的性能。

Oct, 2023