社群交叉指导：无监督指令生成用于将大型语言模型与在线社区对齐
本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。
May, 2023
通过使用编码 - 解码原理，我们引入了 CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM 相对于当前技术水平具有显著的效果。
Apr, 2024
通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。
Aug, 2023
本研究提出了一个新的框架，利用奖励建模 (RM) 方法和模拟高质量演示来进行对齐语言模型的训练，避免了对已对齐的 LLMs 的依赖，这种方法的结果是，我们的模型 ALMoST 在对 InstructGPT 或人工注释指令训练的开放源代码模型中表现良好，我们的 7B 大小的模型在使用 GPT-4 作为评判员的 A /B 测试中表现优异，平均获胜率约为 75％。
May, 2023
利用大规模社交媒体的使用和其重大影响，本研究旨在通过训练较小的大语言模型来提高大型语言模型识别用户社区的能力，并在 Reddit 和 Twitter 数据上展示其改进了社区检测、机器人检测和新闻媒体描述的结果。
Jun, 2024
该研究引入对比对齐指令（AlignInstruct）来解决机器翻译在大型语言模型上的两个挑战，即将支持的语言扩展到之前未曾见过的语言和低资源语言中数据匮乏问题。通过机器翻译指令（MTInstruct）对模型进行微调是解决第一个挑战的一种简单方法。然而，MTInstruct 受第二个挑战中固有的弱跨语言信号的限制。AlignInstruct 强调通过使用统计词对齐构建的跨语言鉴别器进行跨语言监督。研究结果表明，对 BLOOMZ 模型（1b1，3b 和 7b1）在多达 24 种未见过的语言上进行微调，得出以下结论：（1）LLM 可以有效地使用 MTInstruct 对未见过的语言进行翻译；（2）AlignInstruct 在涉及英语的 48 个翻译方向上改进了翻译质量的一致性；（3）基于鉴别器的指令表现优于其生成的对等物作为跨语言指令；（4）AlignInstruct 在 30 个零翻译方向上改善了性能。
Jan, 2024
通过使用大型语言模型（LLM）和大量多样化的训练指令数据集，本研究提出了一种称为 SelectLLM 的新型方法，利用 LLMs 来选择高质量的指令，并在常见的指令评估中展示出相当或稍微更好的性能。
Jan, 2024
该研究介绍了 MM-Instruct，这是一个大规模、多样化和高质量的视觉指导数据集，旨在增强大型多模态模型（LMMs）的指令跟随能力，并通过使用现有的 LLMs 从大规模图像字幕数据集生成新的视觉指导数据，并介绍了一个基于生成的指导数据来评估现有 LMMs 的指令跟随能力的基准。
Jun, 2024