Aug, 2022

BenchPress：一款深度主动基准测试生成器

PDF
TL;DRBenchPress 是第一个可以在源代码的特征空间表征内进行控制的编译器 ML 基准生成器，通过在任何空白或现有序列的任何部分添加新代码来综合编译函数，从而与（a）CLgen，（b） CLSmith fuzzer，（c）SRCIROR mutator 甚至（d）GitHub 上的人工编写代码相比，在 3 种不同的特征空间中更好地定位 Rodinia 基准测试的功能。（由于）使用主动学习在特征空间搜索，BenchPress 是第一个生成用于改进下游任务的基准测试的生成器。
benchpressml benchmark generatorcompiling functionsfeature spaceactive learning
发现论文，激发创造
  • BenchDirect: 用于编译器基准测试的定向语言模型

    本文提出了 BenchPress 和 BenchDirect，利用机器学习编译器生成基准测试案例，能够在源代码特征表示内定向生成可执行的函数，通过主动学习向已有数据集中引入具有未见过特征的新基准测试案例，成功地针对 Rodinia 的基准测试的特征进行了生成，模型的辨别和准确度效果优于现有方法。

    Mar, 2023

  • CodeBenchGen: 创建可扩展的基于执行的代码生成基准

    用 CodeBenchGen 框架创建可扩展的基于执行的基准测试，利用大型语言模型将任意代码转换为评估示例，并通过 Exec-CSN 数据集展示了人类和模型在代码生成系统上的性能分析。

    Mar, 2024

  • BiGGen Bench：一种用于精细评估语言模型的基准

    通过 BiGGen Bench 的引入，对 77 个不同任务中的九种语言模型的生成能力进行了全面评估，并借助实例特定的评估标准来模拟人类评估的微妙辨别。该研究公开提供了代码、数据和评估结果。

    Jun, 2024

  • BigCodeBench：多样化函数调用和复杂指令的代码生成基准

    基于大型语言模型 (LLMs) 的自动化软件工程在最近的进展中得到了极大的增强。尽管当前的基准测试表明 LLMs 可以完成各种软件工程任务，如人类开发人员一样，但它们的大多数评估仅限于简短的、自包含的算法任务。解决具有挑战性和实际意义的编程任务需要利用多种函数调用作为工具，以有效地实现数据分析和 Web 开发等功能。此外，使用多个工具来解决一个任务需要通过准确理解复杂的指令来进行组合推理。同时实现这两个特征对于 LLMs 来说是一个巨大的挑战。为了评估 LLMs 解决具有挑战性和实际意义的编程任务的能力，我们引入了一个基准测试集 Bench，其中挑战 LLMs 以从 139 个库和 7 个领域中选择 1,140 个细粒度的编程任务中调用多个函数调用作为工具。为了对 LLMs 进行严格评估，每个编程任务包括 5.6 个测试用例，平均分支覆盖率达到 99%。此外，我们提出了 Bench 的自然语言导向变体 Benchi，它将原始的文档字符串自动转换为仅具有基本信息的简短指令。我们对 60 个 LLMs 进行了广泛评估，结果显示 LLMs 还不能准确地遵循复杂指令来使用函数调用，得分最高仅为 60%，明显低于人类的 97%。这些结果强调了在这个领域进一步改进的需要。

    Jun, 2024

  • 为 BigBench 中的机器学习工作负载增加功能

    在大数据和机器学习、深度学习以及人工智能算法得到越来越多支持的时代，急需标准化的应用基准来对这些新技术进行压力测试和评估。本文在基于标准化的 BigBench (TPCx-BB) 基准的基础上，通过引入三个新的工作负载和扩展机器学习算法的覆盖范围，丰富了改进版的 BigBench V2。我们的工作负载使用多种算法，并对同一算法在多个流行的库中（如 MLlib、SystemML、Scikit-learn 和 Pandas）的不同实现进行比较，展示了我们基准扩展的相关性和可用性。

    Jun, 2024

  • DevBench：软件开发综合基准

    最近的大型语言模型 (LLMs) 的进展显著增强了它们的编码能力。然而，现有的基准主要关注编程的简化或隔离方面，如单文件代码生成或存储库问题调试，无法全面衡量真实世界编程活动引发的各种挑战。为此，我们提出了 DevBench，这是一个全面的基准，评估 LLMs 在软件开发生命周期的各个阶段，包括软件设计、环境设置、实施、验收测试和单元测试。DevBench 涵盖了广泛的编程语言和领域，具备高质量的数据收集，并为每个任务设计和验证了仔细设计的指标。经验证实证研究表明，包括 GPT-4-Turbo 在内的当前 LLMs 未能解决 DevBench 中提出的挑战。分析显示，模型在理解存储库中的复杂结构、管理编译过程和掌握高级编程概念方面存在困难。我们的发现为未来 LLMs 的真实世界编程应用的发展提供了可行的洞察。我们的基准可以在此 https URL 获取。

    Mar, 2024

  • EffiBench：自动生成代码效率测评

    EffiBench 是一个包含 1000 个效率关键的编码问题的基准测试，用于评估由代码生成模型生成的代码的效率，结果表明 GPT-4 Turbo 生成的代码最有效，但仍比人工编写的规范解决方案效率低。

    Feb, 2024

  • Benanza: 自动 $μ$ 基准测试生成，用于计算 GPU 上深度学习模型的 “下限” 延迟并提供优化建议

    该论文提出了 Benanza，它是一个可持续和可扩展的基准测试和分析设计，可以加快对 GPU 上的 DL 模型的特征 / 优化循环，并对 30 个 ONNX 模型进行了评估，从中识别出了许多优化机会。

    Nov, 2019

  • CodeEditorBench: 大型语言模型的代码编辑能力评估

    通过 CodeEditorBench，我们为 LLMs 的代码编辑能力提供了一个可靠的评估平台，其中 19 个 LLMs 的评估结果表明闭源模型（特别是 Gemini-Ultra 和 GPT-4）在 CodeEditorBench 中优于开源模型，并突出了基于问题类型和提示敏感性的模型性能差异。

    Apr, 2024

  • GenCodeSearchNet：编程语言理解中泛化能力评估的基准测试套件

    使用大规模生成模型和较小的编码器模型，语言模型可以帮助软件开发人员提高生产力，包括代码生成、代码补全、代码搜索等任务，并且可以通过新的基准数据集 GenCodeSearchNet (GeCS) 来评估语言模型对编程语言理解的泛化能力。

    Nov, 2023