ACLJun, 2024

通过语言反馈教授语言模型自我提升

PDF
TL;DR本文提出了自我优化调整（SRT）方法，利用模型反馈来对齐大规模语言模型（LLMs），减少对人类注释的依赖，实现基础模型的自我评估和输出改进，从而促进持续学习。经验证明，SRT 在不同任务和模型大小上明显优于强基线模型，特别是在 AlpacaEval 2.0 基准测试上，对于 70B 参数模型，胜率从 9.6% 提升至 25.8%，超过 GPT-4-0314、Claude 2 和 Gemini 等已建立的系统，语言反馈在 SRT 的成功中起着关键作用。
发现论文，激发创造
  • 自我完善指导调优用于对齐语言模型中的推理

    我们提出了自我改进指导调整方法，通过引导较小语言模型进行自我改进，以实现对推理能力的进一步发展。此方法通过在大型语言模型提供示范的基础上，将推理能力从较大语言模型传输到较小语言模型，然后使用优化策略使得被指导的模型自我改进能力。在常识与数学推理任务上的结果表明，该方法在领域内外场景均显著优于指导调整方法，并使得较小语言模型与较大语言模型的推理能力逐渐趋于一致。

    May, 2024

  • 自主驱动的语言模型从零开始的最小人工监督自我对齐

    研究提出了 SELF-ALIGN 方法，利用少量人工监督和结合原理驱动推理和 LLM 的生成能力，实现 AI 助手的自我对齐，减少人工监督的依赖，获得更好的性能，开发了 Dromedary AI 助手。

    May, 2023

  • TasTe: 通过自我反思教授大型语言模型进行翻译

    TasTe 框架通过自我反思的过程提出了一种新的方法，通过指导和评估生成的初步翻译，并最终提高翻译质量和大型语言模型的能力。

    Jun, 2024

  • 强化自训练（ReST）的语言建模

    ReST 是一种使用离线 RL 算法通过为 LLM 生成样本来改善其策略的简单算法，可以有效地提高机器翻译的质量和效率。

    Aug, 2023

  • 使用语言反馈进行语言模型训练

    通过从自然语言反馈中学习，本文提出了一种三步学习算法来通过对其输出的反馈来优化预训练语言模型，以获得人类水平的摘要能力。

    Apr, 2022

  • 强化学习思考的语言模型自我提升

    本文介绍了一种新的无监督方法 SIRLC，通过强化学习来提高 LLMs 的性能，无需依赖外部标签。该方法把 LLMs 分配为学生和教师两个角色，通过评分策略来更新模型参数，实验结果表明，SIRLC 能够有效提高 LLM 的表现，适用于多个自然语言处理任务，并且无需外部监督。

    May, 2023

  • 自我演进的策略优化微调

    本研究在大型语言模型（LLMs）对齐方面引入自我演进微调（SEFT），旨在消除对注释样本的需求，同时保持 SFT 的稳定性和效率。通过 SEFT，模型能利用大量未标志的数据进行策略优化。实验结果表明 SEFT 的有效性，并对其相对于现有对齐技术的优势进行了全面分析。

    Jun, 2024

  • i-SRT: 视频的大型多模态模型对齐通过迭代式自我回顾判断

    提出一种名为 i-SRT（iterative self-retrospective judgment）的新方法，通过迭代地回顾和评估已生成的内容和偏好，改善文本和视觉模态之间的对齐，减少冗长和无关的回答，增强内容的相关性，并在各种视频问答基准测试中显著优于现有技术。

    Jun, 2024

  • 自我对弈微调将弱语言模型转化为强语言模型

    通过自我对弈优化学习，无需专家对手，实现在大型语言模型中无需人工标注数据即可达到人类水平性能的研究

    Jan, 2024

  • 自我改进：带自反馈的迭代改进

    通过引入 SELF-REFINE 框架，可以通过迭代反馈和改进从 LLMs 获得更好的输出，同时不需要监督训练数据或强化学习，且在 7 种任务中展现出优越性能。

    Mar, 2023