重审VerilogEval：更新的LLM、上下文学习与规范到RTL任务

Aug, 2024

重审VerilogEval：更新的LLM、上下文学习与规范到RTL任务

Revisiting VerilogEval: Newer LLMs, In-Context Learning, and Specification-to-RTL Tasks

Nathaniel Pinckney, Christopher Batten, Mingjie Liu, Haoxing Ren, Brucek Khailany

TL;DR本研究解决了大型语言模型（LLM）在数字硬件代码生成中的应用不足问题。通过改进的VerilogEval基准测试，我们引入了故障分析和新提示，扩展了任务支持，显著提高了GPT-4 Turbo在规范到RTL任务上的通过率至59%。研究表明，适当的提示工程对于模型表现至关重要，并且持续推动模型的开发和部署。

Abstract

The application of large-language models (LLMs) to digital hardware Code Generation is an emerging field. Most LLMs are primarily trained

发现论文，激发创造

VeriGen: Verilog代码生成的大型语言模型

通过在Verilog数据集上微调现有的Large Language Models（LLMs），我们探索了使用LLMs自动生成高质量的Verilog代码的能力。微调后的开源CodeGen-16B模型在功能正确性上优于最先进的商业GPT-3.5-turbo模型，并在多样化和复杂的问题集中表现出竞争性能，尤其在某些场景下显示了对生成正确Verilog代码的潜力，突出了内部小型LLMs在硬件设计自动化方面的潜力。

Jul, 2023

RTLLM: 基于大型语言模型的设计RTL生成的开源基准

我们提出了一个名为RTLLM的开源基准，用于生成具有自然语言指令的设计RTL，并使用一个名为self-planning的易于使用但效果显著的提示工程技术来提高GPT-3.5在我们提出的基准中的性能。

Aug, 2023

VerilogEval：用于 Verilog 代码生成的大型语言模型的评估

该论文提出了一种专门为评估大型语言模型在硬件设计和验证中的Verilog代码生成性能而设计的基准测试框架，演示了预训练语言模型的Verilog代码生成能力可以通过使用LLM生成的合成问题-代码对进行监督微调来提高。

Sep, 2023

基于先进语言模型的 Verilog 开发：代码综合中的功耗、性能和面积优化

通过一种创新的框架，本研究探索了高级语言模型在电子硬件设计中的应用，特别关注了Verilog编程的综合和增强；该框架通过初始通过高级语言模型生成的Verilog编程，然后经过两个独立的改进阶段，优化编程的运行效率和语言准确性，并与关键的性能指标进行对齐，从而大幅提升ALMs生成的Verilog编程的质量，展示出ALMs在处理复杂技术领域方面的能力，标志着硬件设计操作的自动化迈出积极的一步。

Dec, 2023

一个用于 Verilog 代码生成的多专家大型语言模型架构

最近，使用大型语言模型(LLMs)进行Verilog代码生成引起了人们的极大兴趣。然而，现有的方法在生成的Verilog代码质量方面存在一定的局限性。为了解决这些限制，本文介绍了一种创新的基于多专家的LLM架构用于Verilog代码生成 (MEV-LLM)。我们的架构独特地集成了多个LLMs，每个都经过特定的微调，与一个按设计复杂度分级的数据集相对应。它允许更有针对性地学习，直接解决每个类别的Verilog代码生成的细微差别。实验证据突出了在句法和功能正确的生成的Verilog输出百分比方面的显著改进。这些发现强调了我们方法的效力，在通过机器学习实现自动硬件设计领域中有了一个飞跃。

Apr, 2024

RTL-Repo：大规模 RTL 设计项目中评估 LLM 的基准测试

该研究提出了RTL-Repo基准，并通过评估多个先进模型在该基准上的表现，比较了它们在生成复杂RTL项目的Verilog代码方面的性能。RTL-Repo基准为硬件设计社区提供了一个有价值的资源，用于评估和比较大型语言模型在真实RTL设计场景中的性能，并专门为复杂的多文件RTL项目的Verilog代码生成训练大型语言模型。RTL-Repo是一个开源项目，可在Github上公开获取。

May, 2024

使用变形提示测试验证LLM生成的程序

我们提出了一种称为变质提示测试的新颖解决方案，用于解决由大型语言模型生成的代码质量和正确性所引发的挑战，并在HumanEval评估中显示，该方法能够检测到由GPT-4生成的错误程序的75％，误报率为8.6％。

Jun, 2024

MG-Verilog：面向增强LLM辅助Verilog生成的多粒度数据集

通过提供高质量的硬件数据集和平衡的微调方案，使大型语言模型在硬件设计任务中的表现得到了持续改进。

Jul, 2024

基于多层摘要的LLM赋能Verilog生成

CodeV是一系列开源的指令调优Verilog生成LLM，相较于之前引领性工作在Verilog评估和RTLLM领域分别提升了14.4%和11.3%，并且相对于商业引领技术GPT-4在Verilog评估领域提高了22.1%。

Jul, 2024

大语言模型在高级综合中的有效性研究

本研究针对日益复杂的硬件设计需求，探索大语言模型（LLMs）在高级综合（HLS）过程中的潜力，填补了当前方法的空白。通过对比使用标准HLS工具与LLMs生成的Verilog设计，评估其在性能、功耗和资源利用率方面的影响，提出了LLMs在硬件设计中的应用前景，特别是在人工智能加速、嵌入式系统和高性能计算领域。

Aug, 2024