本研究在大型语言模型（LLMs）对齐方面引入自我演进微调（SEFT），旨在消除对注释样本的需求，同时保持 SFT 的稳定性和效率。通过 SEFT，模型能利用大量未标志的数据进行策略优化。实验结果表明 SEFT 的有效性，并对其相对于现有对齐技术的优势进行了全面分析。

Jun, 2024

本文提出了一种新的自动对齐框架 SELF-JUDGE，通过在模型中集成筛选器和评价器的功能来实现高效的在线策略学习，无需单独引入奖励模型进行训练，实验证明 SELF-JUDGE 在偏好基准测试中表现优异。

Feb, 2024

通过自我对弈优化学习，无需专家对手，实现在大型语言模型中无需人工标注数据即可达到人类水平性能的研究

Jan, 2024

我们研究了如何在样本有限的情况下，通过使用上下文学习示例和迭代调整算法，自动对齐大型语言模型，以实现几乎不需要人工监督的自我泛化对齐能力。

Jan, 2024

我们提出了一种可扩展的方法，通过自动标记人工编写的文本与相应的指令来构建高质量的指令跟随语言模型。我们的方法命名为指令反向翻译，使用少量种子数据和给定的网络语料库对语言模型进行微调，通过为网络文档生成指令提示来构建训练样本（自助增强），然后从这些候选样本中选择高质量的例子（自我策划）。然后使用这些数据对模型进行微调。对 LLaMa 进行两次迭代的微调可以得到一个模型，它在 Alpaca 排行榜上性能优于其他基于 LLaMa 的模型，并且不依赖蒸馏数据，展示了高度有效的自我对齐。

Aug, 2023

研究提出了 SELF-ALIGN 方法，利用少量人工监督和结合原理驱动推理和 LLM 的生成能力，实现 AI 助手的自我对齐，减少人工监督的依赖，获得更好的性能，开发了 Dromedary AI 助手。

May, 2023

我们引入了 “TS-Align” 框架，该框架利用从模型输出中自动提取的成对反馈数据来微调策略模型，从而解决了大规模语言模型对人类反馈数据的依赖性及数据收集成本高的问题，并通过实验证明我们的对齐策略性能在七个对话或遵循指导数据集上的平均胜率达到 69.7%。同时，该框架还能有效地在小规模的学生模型中提取教师模型的排序能力，形成一个小而有效的奖励模型，用于策略模型的对齐。

May, 2024

我们提出了自我改进指导调整方法，通过引导较小语言模型进行自我改进，以实现对推理能力的进一步发展。此方法通过在大型语言模型提供示范的基础上，将推理能力从较大语言模型传输到较小语言模型，然后使用优化策略使得被指导的模型自我改进能力。在常识与数学推理任务上的结果表明，该方法在领域内外场景均显著优于指导调整方法，并使得较小语言模型与较大语言模型的推理能力逐渐趋于一致。

May, 2024

我们介绍了一种低资源安全增强方法，用于对齐大型语言模型（LLMs），无需受过监督的精调或来自人类反馈的强化学习。我们的主要思想是利用知识蒸馏从现有的良好对齐的 LLMs 中提取对齐信息，并以即插即用的方式整合到未对齐的 LLMs 中。通过使用增量调试来识别有效蒸馏所需的关键知识组成部分的方法，我们的方法在有害问题数据集上显著提高了平均防御成功率，约为 14.41％，最高可达 51.39％，在 17 个未对齐的预训练 LLMs 中，而不会损害性能。

Jun, 2024

我们提出了一种新颖的自举元自我监督学习（BMSSL）框架来模拟人类学习过程，实现从少量无监督数据中学习一般视觉表征的长期目标。

Aug, 2023