Aug, 2023

RTLLM: 基于大型语言模型的设计 RTL 生成的开源基准

PDF
TL;DR我们提出了一个名为 RTLLM 的开源基准，用于生成具有自然语言指令的设计 RTL，并使用一个名为 self-planning 的易于使用但效果显著的提示工程技术来提高 GPT-3.5 在我们提出的基准中的性能。
发现论文，激发创造
  • 使用 LLM（例如 ChatGPT）设计和实现 RISC 处理器：执行、挑战和局限性

    使用大型语言模型（LLM）生成代码的可行性进行了讨论，应用于设计 RISC。通过解析、标记化、编码、注意机制、对生成代码的令牌进行采样和迭代等相关步骤进行了回顾。通过测试平台和 FPGA 板上的硬件实现对 RISC 组件的生成代码进行了验证。使用四个度量参数：第一次迭代的正确输出、嵌入在代码中的错误数量、实现代码所需的尝试次数以及三次迭代后无法生成代码的次数，来比较使用 LLM 进行编程的效率。在所有情况下，生成的代码都有显著的错误，总是需要人的介入来修复错误。因此，LLM 可以用于辅助程序员进行代码设计。

    Jan, 2024

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • ChipGPT：自然语言硬件设计有多远

    本文旨在演示通过大型语言模型与自然语言交互实现高效逻辑设计的自动化设计环境，其中展示了一个基于大型语言模型的四阶段零代码逻辑设计框架，并证明相较于现有工作及单一大型语言模型，ChipGPT 提高了可编程性、可控性和设计优化空间。

    May, 2023

  • VeriGen: Verilog 代码生成的大型语言模型

    通过在 Verilog 数据集上微调现有的 Large Language Models（LLMs），我们探索了使用 LLMs 自动生成高质量的 Verilog 代码的能力。微调后的开源 CodeGen-16B 模型在功能正确性上优于最先进的商业 GPT-3.5-turbo 模型，并在多样化和复杂的问题集中表现出竞争性能，尤其在某些场景下显示了对生成正确 Verilog 代码的潜力，突出了内部小型 LLMs 在硬件设计自动化方面的潜力。

    Jul, 2023

  • 零 - shot 下注意力汇聚增强的大型语言模型的 RTL 代码生成

    利用大型语言模型简化硬件设计中的代码生成过程，并探索其在资源受限的问题中的应用能力。

    Jan, 2024

  • RTL-Repo：大规模 RTL 设计项目中评估 LLM 的基准测试

    该研究提出了 RTL-Repo 基准，并通过评估多个先进模型在该基准上的表现，比较了它们在生成复杂 RTL 项目的 Verilog 代码方面的性能。RTL-Repo 基准为硬件设计社区提供了一个有价值的资源，用于评估和比较大型语言模型在真实 RTL 设计场景中的性能，并专门为复杂的多文件 RTL 项目的 Verilog 代码生成训练大型语言模型。RTL-Repo 是一个开源项目，可在 Github 上公开获取。

    May, 2024

  • Lean4 中自动形式化的评估基准

    大型语言模型 (LLMs) 具有彻底改变自动形式化的潜力。引入数学编程语言 Lean4 为评估 LLMs 的自动形式化能力提供了前所未有的机会。本文介绍了一种专为 Lean4 设计的新型评估基准，将其应用于测试包括 GPT-3.5、GPT-4 和 Gemini Pro 在内的最先进的 LLMs 的能力。我们全面的分析发现，尽管最近有所进展，这些 LLMs 在自动形式化方面仍存在局限性，尤其是在更复杂的数学领域。这些发现强调了需要进一步发展 LLMs，以充分发挥它们在科学研究和开发中的潜力。本研究不仅为当前的 LLM 能力设立了基准，还为自动形式化的未来增强奠定了基础。

    Jun, 2024

  • 评估面向硬件设计和测试的 LLMs

    该研究使用八个代表性基准测试探究了领先技术的对话式大型语言模型在功能和验证目的上生成 Verilog 的能力和限制。结果表明，大型语言模型在硬件模块的设计和测试中具有潜力，并可朝着全自动数字设计流程的进展迈进。

    Apr, 2024

  • LLM4PLC：工控系统中基于大型语言模型的可验证 PLC 编程

    提出 LLM4PLC 的用户引导迭代流程，通过用户反馈和外部验证工具来改善大型语言模型（LLM）生成的代码的可验证性，提高成功生成的比例并提高代码质量。

    Jan, 2024

  • AssertionBench: 用于评估大语言模型的断言生成基准

    使用大型语言模型（LLMs）生成断言的有效性和适用性的定量评估。

    Jun, 2024