Oct, 2023

LLM4DV：使用大型语言模型生成硬件测试刺激

PDF
TL;DR通过利用大型语言模型（LLM）的能力，本文提出了一种基于框架 LLM4DV 的创新性基准测试方法，该方法引入了与 LLM 互动产生测试刺激的提示模板，并提供了四种创新的提示改进来支持流水线执行，并进一步提高其性能。通过与传统的约束随机测试（CRT）进行比较，基于自行设计的三个被测试模块（DUT），实验证明 LLM4DV 能够有效处理直接的 DUT 情景，并利用其基本的数学推理和预训练的知识。尽管在复杂任务设置中其效率有所降低，但相对而言，它仍然优于 CRT。本文中提出的框架和实验中使用的 DUT 模块将在发表后进行开源。
发现论文，激发创造
  • 评估面向硬件设计和测试的 LLMs

    该研究使用八个代表性基准测试探究了领先技术的对话式大型语言模型在功能和验证目的上生成 Verilog 的能力和限制。结果表明，大型语言模型在硬件模块的设计和测试中具有潜力，并可朝着全自动数字设计流程的进展迈进。

    Apr, 2024

  • 面向非功能属性生成系统级测试程序的大型语言模型

    使用预训练的大型语言模型（LLMs）生成测试程序以优化设备的非功能性能。

    Mar, 2024

  • LLM4TDD：使用大型语言模型进行测试驱动开发的最佳实践

    使用测试驱动开发方法，将大型语言模型指导进行迭代式代码生成，以提高软件系统正确性的程序综合方法。通过在 ChatGPT 和 LeetCode 编码问题上进行实证评估，研究不同测试、提示和问题属性对 LLM4TDD 方法有效性的影响。

    Dec, 2023

  • 大型语言模型在行为驱动开发验收测试制定中的综合评估和见解

    提出一种使用大型语言模型来增强 BDD 实践的新方法，通过零样本和少样本提示评估 GPT-3.5、GPT-4 等 LLMs 的性能，旨在自动生成无错误的 BDD 验收测试，强调该方法对于支持协作 BDD 流程和未来自动化 BDD 验收测试生成的研究具有潜力。

    Mar, 2024

  • VerilogReader: 基于 LLM 的硬件测试生成

    将大型语言模型 (LLM) 集成到覆盖指导测试生成 (CDG) 过程中，使用自设计的 Verilog 基准套件，与随机测试比较，实验证明我们的框架在 LLM 的理解范围内优于随机测试，并提出了改进 LLM 理解范围和准确性的提示工程优化。

    Jun, 2024

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • VerilogEval：用于 Verilog 代码生成的大型语言模型的评估

    该论文提出了一种专门为评估大型语言模型在硬件设计和验证中的 Verilog 代码生成性能而设计的基准测试框架，演示了预训练语言模型的 Verilog 代码生成能力可以通过使用 LLM 生成的合成问题 - 代码对进行监督微调来提高。

    Sep, 2023

  • 基于 LLM 的视频扩散模型

    在视频生成方面，本研究提出了一种基于文本的扩散模型，通过使用大型语言模型（LLM）生成的动态场景布局来引导视频生成过程，旨在解决现有模型在处理复杂时空提示时遇到的限制和错误运动的问题。实验证明该方法在生成具有所需特征和运动模式的视频方面显著优于基准模型和一些强基线方法。

    Sep, 2023

  • LLM4SecHW：利用专业领域特定的大型语言模型进行硬件调试

    介绍了 LLM4SecHW，这是一个利用领域特定的大型语言模型（LLM）的硬件调试新框架。通过收集开源硬件设计缺陷和纠正步骤的版本控制数据，利用精调的中型 LLM 模型，能够准确地识别和修复硬件设计缺陷，实现自动控制硬件质量控制流程。

    Jan, 2024

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023