Mar, 2024

CodeUltraFeedback: 一个用于将大型语言模型与编码偏好对齐的 LLM 作为裁判数据集

PDF
TL;DR通过自动化指标和静态分析工具评估大型语言模型与用户定义的编码偏好之间的对齐是一项具有挑战性的任务。本文介绍了 CodeUltraFeedback，这是一个包含 10,000 个复杂指令的偏好数据集，通过 AI 反馈调整和对齐语言模型与编码偏好。我们通过 14 个不同的语言模型对指令生成响应，并使用 LLM 作为评判器的方法对其对齐性进行了标注。我们还提出了 CODAL-Bench，用于评估语言模型与编码偏好对齐的基准。结果表明，通过使用 CodeUltraFeedback 的 AI 反馈数据，采用增强学习和直接优化编码偏好的方法，CodeLlama-7B-Instruct 在 CODAL-Bench 上优于 34B 模型，验证了 CodeUltraFeedback 在偏好调整方面的实用性。此外，我们还展示了经过优化的 CodeLlama 模型相比于未对齐的基础模型在 HumanEval + 上的功能正确性有所改进。因此，我们的贡献弥合了语言模型对编码偏好的调整差距，并为模型对齐和代码智能的进一步发展奠定了基础。
large language modelspreference alignmentcoding preferencescodeultrafeedbackbenchmark
发现论文，激发创造
  • 超级反馈：通过高质量反馈提升语言模型

    通过创建大规模、高质量、多样化的偏好数据集 ULTRAFEEDBACK，我们训练各种模型来展示其有效性，并在多个基准测试中取得最佳表现。

    Oct, 2023

  • 通过多透视用户偏好排名反馈对齐 LLMs 的编程问题回答

    利用人类反馈强化学习从大型语言模型出发，以解决编码社区问答中多个答案和用户偏好差异的问题，提出了一种名为 ALMupQA 的框架，通过多角度用户偏好排序反馈来生成面向用户的答案。实验证明，ALMupQA 相比基础模型在 BLEU 指标上提升了近 11%，BERTScore 和 CodeBERTScore 分别提高了 20% 和 17.5%。

    May, 2024

  • UICoder: 通过自动反馈对大型语言模型进行微调以生成用户界面代码

    通过使用自动生成的合成数据集和自动化工具，我们改进了现有的大型语言模型（LLMs），使其能够生成高质量的用户界面（UI）代码，并通过与其他基准模型的比较证明了我们的方法的有效性。

    Jun, 2024

  • 解剖人类和 LLM 偏好

    通过对人类和重要语言模型的偏好进行细致分析，研究发现人类对错误不太敏感，倾向于支持他们的观点的回答，并且当模型承认其局限性时显示出明显的不喜欢。相反地，高级语言模型如 GPT-4-Turbo 更强调正确性、清晰度和无害性。此外，相似大小的语言模型往往表现出类似的偏好，无论它们的训练方法如何，并且对于仅预训练的语言模型来说，通过对齐进行微调并不显著改变其偏好。最后，研究发现基于偏好的评估可以被有意地操纵，将模型与评委的偏好保持一致将提高评分，而注入评委最不喜欢的属性将降低评分。这导致了显著的评分变化，例如在 MT-Bench 上高达 0.59 分（1-10 分制），在 AlpacaEval 2.0 上高达 31.94 分（0-100 分制），突显了这种战略性调整的重要影响。

    Feb, 2024

  • InstructCoder：赋予语言模型在代码编辑中的能力

    本研究使用大型语言模型（LLMs）和 InstructCoder 数据集，探索用户指令下的代码编辑，涵盖评论插入、代码优化和代码重构等多个隐含任务。实验证明，在 InstructCoder 数据集上对开源 LLMs 进行精细调整，能够大多数情况下正确地编辑代码，展现了前所未有的代码编辑性能水平。

    Oct, 2023

  • 拒绝的原因？将语言模型与判断对齐

    我们首次通过自然语言反馈的方法探索了对齐大型语言模型的可能性，并提出了一种称为 Contrastive Unlikelihood Training (CUT) 的新框架，通过细致判定检测和修正来实现对不适当内容的改进，获得了优于基线模型的好成绩。同时，我们的分析表明判定相较于奖励在 LLM 对齐方面具有更大的潜力，值得进行进一步研究。

    Dec, 2023

  • CodecLM: 用定制的合成数据对齐语言模型

    通过使用编码 - 解码原理，我们引入了 CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM 相对于当前技术水平具有显著的效果。

    Apr, 2024

  • 用自动生成的偏好数据对齐大型语言模型

    通过自动生成的优先数据 (Selfie) 和少量的人工标注优先数据，我们提出了一种新的框架，可以显著增强大型语言模型的对齐性能，进一步提取模型的内在偏好。

    Jun, 2024

  • PanGu-Coder2: 通过排名反馈提升代码的大规模语言模型

    通过 RRTF (Rank Responses to align Test&Teacher Feedback) 框架，我们提出了 PanGu-Coder2，它在 OpenAI HumanEval 基准测试中实现了 62.20% 的 pass@1，并通过对 CoderEval 和 LeetCode 基准测试的广泛评估显示，PanGu-Coder2 始终优于所有之前的 Code LLMs。

    Jul, 2023

  • JudgeLM：经过优化的大型语言模型是可扩展的法官

    通过对大规模语言模型进行微调以构建可扩展的评判模型，提出了一种有效评估大规模语言模型的方法，并成功应用于新的基准测试中，获得了最佳表现。

    Oct, 2023