发挥每一步的价值：基于 LLM 的高质量 RTL 代码生成使用 MCTS

Feb, 2024

发挥每一步的价值：基于 LLM 的高质量 RTL 代码生成使用 MCTS

Make Every Move Count: LLM-based High-Quality RTL Code Generation Using MCTS

Matthew DeLorenzo, Animesh Basak Chowdhury, Vasudev Gohil, Shailja Thakur, Ramesh Karri...

TL;DR通过引入蒙特卡罗树搜索，并将其与自动转换器解码算法相结合，以解决现有大型语言模型在寄存器传输级代码生成中遇到的问题，从而实现能够生成可编译、功能正确且功耗性能区域（PPA）优化的代码。经实证评估，我们的技术在 RTL 代码集上通过对细调的语言模型进行评估，相对于仅使用提示的方法，一直能够生成功能正确的代码，并有效解决了朴素大型语言模型的 PPA 非感知缺陷。对于由最先进的大型语言模型（16 位加法器）生成的最大设计，我们的技术可以在延迟面积乘积方面实现 31.8% 的改进。

Abstract

Existing large language models (LLMs) for register transfer level code generation face challenges like compilation failures and suboptimal power, performance, and area (PPA) efficiency. This is due to the lack of PPA awareness in conventional transformer decoding algorithms. In respons

large language models register transfer level code generation automated transformer decoding algorithm monte carlo tree-search ppa-optimized code

发现论文，激发创造

RTLLM: 基于大型语言模型的设计 RTL 生成的开源基准

我们提出了一个名为 RTLLM 的开源基准，用于生成具有自然语言指令的设计 RTL，并使用一个名为 self-planning 的易于使用但效果显著的提示工程技术来提高 GPT-3.5 在我们提出的基准中的性能。

Aug, 2023

LLM4PLC：工控系统中基于大型语言模型的可验证 PLC 编程

提出 LLM4PLC 的用户引导迭代流程，通过用户反馈和外部验证工具来改善大型语言模型（LLM）生成的代码的可验证性，提高成功生成的比例并提高代码质量。

Jan, 2024

基于蒙特卡罗树搜索指导的大型语言模型生成代码世界模型

通过利用蒙特卡洛树搜索策略（GIF-MCTS）进行生成、改进和修复，我们成功地解决了利用大型语言模型生成代码世界模型（Code World Models）的挑战，并且在多个基准测试中超越了其他方法，在模型为基础的强化学习方面取得了显著的样本效率和推理速度提升。

May, 2024

使用大型语言模型进行代码生成的规划

本文提出了一种新的 Transformer 解码算法 PG-TD，使用规划算法进行预见性搜索和引导 Transformer 生成更好的程序，可以生成具有更高性能的程序，提升了控制代码生成的能力，并设计了一种机制使算法具有计算效率。

Mar, 2023

使用 LLM（例如 ChatGPT）设计和实现 RISC 处理器：执行、挑战和局限性

使用大型语言模型（LLM）生成代码的可行性进行了讨论，应用于设计 RISC。通过解析、标记化、编码、注意机制、对生成代码的令牌进行采样和迭代等相关步骤进行了回顾。通过测试平台和 FPGA 板上的硬件实现对 RISC 组件的生成代码进行了验证。使用四个度量参数：第一次迭代的正确输出、嵌入在代码中的错误数量、实现代码所需的尝试次数以及三次迭代后无法生成代码的次数，来比较使用 LLM 进行编程的效率。在所有情况下，生成的代码都有显著的错误，总是需要人的介入来修复错误。因此，LLM 可以用于辅助程序员进行代码设计。

Jan, 2024

无需训练仍可受益。运用能量函数引导的蒙特卡罗树搜索释放大语言模型的数学推理能力

通过使用蒙特卡洛树搜索和轻能量函数，我们对经过微调的大型语言模型进行了改进，提高了数学推理的正确性和步骤，从而在不需要进一步微调或 RLHF 对齐的情况下，将经过微调的模型的一次通过率显著提高。

Sep, 2023

L2MAC：大型语言模型自动计算机无限编码生成

Transformer-based language models are limited by a fixed window size, but this paper proposes L2MAC, a memory-augmented stored-program automatic computer that can generate long and consistent code surpassing the limitations of the context window, fulfilling complex user-specified requirements.

Oct, 2023

大型语言模型（LLM）用于标准单元布局设计优化

提出了一种新颖高效的方法，结合人工设计专家的经验，利用大规模语言模型（LLM）的自然语言和推理能力，以 ReAct 提示为支持，逐步优化细胞布局的性能、功耗和面积（PPA），并调试布线可行性。在 2nm 的顺序标准电池基准上，所提出的方法不仅能够减小平均细胞面积 4.65％，还能够修复布局设计中的可调度性问题。

May, 2024

零 - shot 下注意力汇聚增强的大型语言模型的 RTL 代码生成

利用大型语言模型简化硬件设计中的代码生成过程，并探索其在资源受限的问题中的应用能力。

Jan, 2024

QLLM：用于大型语言模型的准确高效低比特量化

通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

Oct, 2023