基于蒙特卡罗树搜索指导的大型语言模型生成代码世界模型

May, 2024

基于蒙特卡罗树搜索指导的大型语言模型生成代码世界模型

Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search

Nicola Dainese, Matteo Merler, Minttu Alakuijala, Pekka Marttinen

TL;DR通过利用蒙特卡洛树搜索策略（GIF-MCTS）进行生成、改进和修复，我们成功地解决了利用大型语言模型生成代码世界模型（Code World Models）的挑战，并且在多个基准测试中超越了其他方法，在模型为基础的强化学习方面取得了显著的样本效率和推理速度提升。

Abstract

In this work we consider code world models, world models generated by a Large Language Model (LLM) in the form of Python code for model-based Reinforcement Learning (RL). Calling code instead of LLMs for planning has the advantages of being precise, reliable, interpretable, and extreme

code world models large language model reinforcement learning monte carlo tree search program synthesis

发现论文，激发创造

基于模型的 LLM 代理系统 WorldCoder：通过编写代码和与环境交互建立世界模型

基于模型的智能体使用与环境的交互来构建代表其对世界的知识的 Python 程序。通过扩展基于 LLMs 的程序合成的工作，尝试解释智能体的交互，同时对其可以实现的奖励持有乐观态度。在网格世界中，我们发现该方法相比深度强化学习更具样本效率，并且相比于 ReAct 式智能体更具计算效率。

Feb, 2024

CodeRL: 通过预训练模型和深度强化学习掌握代码生成

CodeRL 使用预训练的语言模型和深度强化学习框架解决了程序合成中标准的有监督微调的一些局限，同时在 APPs 和 MBPP 基准测试中创造了新的 SOTA 结果。

Jul, 2022

基于大型语言模型和蒙特卡洛树搜索的多步骤合成验证

使用蒙特卡洛树搜索指导大型语言模型生成在 Dafny、Lean 和 Coq 中验证的程序的方法，该方法称为 VMCTS，在组合 LLM 先验知识和验证器反馈的情况下，提高了开源模型的综合能力，在五个验证编程问题中，VMCTS 以 6 分钟内解决了四个问题，与具有插件和多次尝试的 ChatGPT4 在这些问题上具有竞争力。

Feb, 2024

LLM 基于代码生成与软件开发流程的结合

介绍了 LCG 软件代码生成框架，该框架利用多个大型语言模型（LLM）代理模拟各种软件过程模型，通过协同努力不断优化自身以提高代码质量。通过四个代码生成基准的评估结果表明，LCGScrum 模型在各项评估中表现优异，超过 GPT 平均 15%。分析结果显示开发活动对生成的代码有明显影响，设计和代码审查能增强异常处理，而设计、测试和代码审查则能减轻代码缺陷。GPT3.5 模型版本的变化对结果有显著影响，强调了采用软件过程模型增强 LLM 生成代码质量和一致性的重要性。

Mar, 2024

发挥每一步的价值：基于 LLM 的高质量 RTL 代码生成使用 MCTS

通过引入蒙特卡罗树搜索，并将其与自动转换器解码算法相结合，以解决现有大型语言模型在寄存器传输级代码生成中遇到的问题，从而实现能够生成可编译、功能正确且功耗性能区域（PPA）优化的代码。经实证评估，我们的技术在 RTL 代码集上通过对细调的语言模型进行评估，相对于仅使用提示的方法，一直能够生成功能正确的代码，并有效解决了朴素大型语言模型的 PPA 非感知缺陷。对于由最先进的大型语言模型（16 位加法器）生成的最大设计，我们的技术可以在延迟面积乘积方面实现 31.8% 的改进。

Feb, 2024

使用编译器生成的强化学习反馈来调整代码模型

通过反馈机制在 Large Language Models 中引入编译器和参考程序的验证，提高了自动生成代码的正确性和可执行性，实验结果表明 RLCF 提高了 LLMs 在 Java MBJP 和 MathQA 任务中的表现。

May, 2023

大型语言模型作为测试用例生成器：性能评估与增强

使用大型语言模型（LLMs）生成高质量的测试用例是一个重要问题，目前的研究主要集中在改进代码生成过程中通过 LLMs 生成辅助测试用例的性能，而 LLMs 在仅生成测试用例方面的性能尚未全面研究。为了填补这一空白，本文通过大量实验研究了 LLMs 生成高质量测试用例的能力，并提出了一种名为 TestChain 的多代理框架，通过与 Python 解释器的交互提供更准确的测试输出，实验结果表明 TestChain 在测试用例准确性上明显优于基准模型，其中使用 GPT-4 作为基础的 TestChain 在 LeetCode-hard 数据集上相比基准模型改进了 13.84%。

Apr, 2024

无需训练仍可受益。运用能量函数引导的蒙特卡罗树搜索释放大语言模型的数学推理能力

通过使用蒙特卡洛树搜索和轻能量函数，我们对经过微调的大型语言模型进行了改进，提高了数学推理的正确性和步骤，从而在不需要进一步微调或 RLHF 对齐的情况下，将经过微调的模型的一次通过率显著提高。

Sep, 2023

StepCoder: 基于编译器反馈的强化学习提升代码生成

使用大型语言模型（LLMs）进行代码生成的研究，引入了一个新的强化学习框架 StepCoder，通过将代码生成任务拆分为完成代码片段的课程，以及屏蔽未执行代码段进行模型优化，成功解决了复杂人类需求下 RL 探索和模型优化的挑战，并通过构建 APPs + 数据集进行了实验验证。

Feb, 2024

如果 LLM 是巫师，那么代码就是魔棒：关于代码如何赋予大语言模型作为智能代理的调查

通过将代码集成到大型语言模型的训练数据中，可以提高语言模型的代码生成能力、推理能力以及生成结构化和精确的中间步骤，并将其转化为智能代理在复杂自然语言任务中的应用。

Jan, 2024