Jun, 2024

VerilogReader: 基于 LLM 的硬件测试生成

PDF
TL;DR将大型语言模型 (LLM) 集成到覆盖指导测试生成 (CDG) 过程中，使用自设计的 Verilog 基准套件，与随机测试比较，实验证明我们的框架在 LLM 的理解范围内优于随机测试，并提出了改进 LLM 理解范围和准确性的提示工程优化。
test generationhardware design verificationlarge language model (llm)coverage directed test generation (cdg)verilog benchmark suite
发现论文，激发创造
  • 评估面向硬件设计和测试的 LLMs

    该研究使用八个代表性基准测试探究了领先技术的对话式大型语言模型在功能和验证目的上生成 Verilog 的能力和限制。结果表明，大型语言模型在硬件模块的设计和测试中具有潜力，并可朝着全自动数字设计流程的进展迈进。

    Apr, 2024

  • VerilogEval：用于 Verilog 代码生成的大型语言模型的评估

    该论文提出了一种专门为评估大型语言模型在硬件设计和验证中的 Verilog 代码生成性能而设计的基准测试框架，演示了预训练语言模型的 Verilog 代码生成能力可以通过使用 LLM 生成的合成问题 - 代码对进行监督微调来提高。

    Sep, 2023

  • LLM4DV：使用大型语言模型生成硬件测试刺激

    通过利用大型语言模型（LLM）的能力，本文提出了一种基于框架 LLM4DV 的创新性基准测试方法，该方法引入了与 LLM 互动产生测试刺激的提示模板，并提供了四种创新的提示改进来支持流水线执行，并进一步提高其性能。通过与传统的约束随机测试（CRT）进行比较，基于自行设计的三个被测试模块（DUT），实验证明 LLM4DV 能够有效处理直接的 DUT 情景，并利用其基本的数学推理和预训练的知识。尽管在复杂任务设置中其效率有所降低，但相对而言，它仍然优于 CRT。本文中提出的框架和实验中使用的 DUT 模块将在发表后进行开源。

    Oct, 2023

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • VeriGen: Verilog 代码生成的大型语言模型

    通过在 Verilog 数据集上微调现有的 Large Language Models（LLMs），我们探索了使用 LLMs 自动生成高质量的 Verilog 代码的能力。微调后的开源 CodeGen-16B 模型在功能正确性上优于最先进的商业 GPT-3.5-turbo 模型，并在多样化和复杂的问题集中表现出竞争性能，尤其在某些场景下显示了对生成正确 Verilog 代码的潜力，突出了内部小型 LLMs 在硬件设计自动化方面的潜力。

    Jul, 2023

  • 利用 LLM 辅助生成硬件断言

    本研究探讨了使用自然语言提示生成 SystemVerilog 声明（用于硬件安全），研究了一种流行的大型语言模型的能力，并设计了一个评估框架来生成各种提示并创建基准套件，该套件由真实硬件设计和相应的黄金参考声明组成。

    Jun, 2023

  • AssertionBench: 用于评估大语言模型的断言生成基准

    使用大型语言模型（LLMs）生成断言的有效性和适用性的定量评估。

    Jun, 2024

  • MG-Verilog：面向增强 LLM 辅助 Verilog 生成的多粒度数据集

    通过提供高质量的硬件数据集和平衡的微调方案，使大型语言模型在硬件设计任务中的表现得到了持续改进。

    Jul, 2024

  • VHDL-Eval: 用于评估大规模语言模型在 VHDL 代码生成中的框架

    介绍了一个专门用于评估大型语言模型在 VHDL 代码生成任务中性能的全面评估框架，并强调了现有 LLMs 在 VHDL 代码生成中面临的挑战和改进空间。

    Jun, 2024

  • 全你所需：通过自动化的设计数据增强框架，通过微调 LLMs 进行芯片设计

    通过自动生成与 Verilog 和 EDA 脚本对齐的高容量高质量自然语言，本研究提出了一种自动化设计数据增强框架，以改善 LLM 在 Verilog 代码生成和 EDA 脚本生成任务中的表现。结果表明，使用我们的增强方法对 Llama2-13B 和 Llama2-7B 模型进行微调在 Verilog 生成任务中有显著改善，并且与当前最先进的开源 Verilog 生成模型相比，Verilog 生成的准确性从 58.8％提高到 70.6％。与 GPT-3.5 相比，我们的 13B 模型（ChipGPT-FT）在 Verilog 生成和 EDA 脚本生成方面具有更好的性能。

    Mar, 2024