KDDFeb, 2024

从 API 文档生成 OpenAPI 规范的 SpeCrawler：使用大型语言模型

PDF
TL;DR文中介绍了 SpeCrawler，通过精心设计的流程，利用大型语言模型（LLMs）从各种 API 文档中生成 OpenAPI 规范，为众多 API 创建了标准化格式，从而协助在 API 编排系统中简化集成过程，并方便工具与 LLMs 的结合。通过实证证据和案例研究，论文展示了 SpeCrawler 的方法论及其在 LLMs 能力方面的有效性。
发现论文，激发创造
  • 基于大型语言模型的软件规格自动综合

    本文提出了一个能从自然语言来源中自动生成软件规格说明的框架 SpecSyn，并证明其性能明显更强于之前的同类工具。

    Apr, 2023

  • 利用自然语言处理技术实现 API 代码摘要

    本研究提出了一种使用自然语言处理技术通过非官方文档生成 API 和方法摘要的自动化方法，该方法可以作为指导开发人员进行软件开发和维护任务的补充来源。

    Aug, 2022

  • 通过摘要将 API 文档彻底改革

    本研究通过利用 Stack Overflow 的大量用户生成内容，包括代码片段和讨论，使用 BERTopic 和抽取式摘要生成简洁且信息丰富的 API 摘要，以解决解释应用程序编程接口 (API) 文档的挑战，这是软件开发的一个重要方面。这些摘要包括了关于常规使用方法、常见开发者问题和潜在解决方案等关键见解，以从 Stack Overflow 的丰富知识中获取。软件开发人员评估这些摘要的性能、连贯性和互操作性，为我们的方法的实用性提供有价值的反馈。

    Jan, 2024

  • 通过 BERTopic 建模和摘要提升 API 文档

    本文介绍了一种独特的方法来解决对应用程序接口（API）文档的解释复杂性的需求，利用 BERTopic 的强项和自然语言处理（NLP）自动生成 API 文档的摘要，以提高 API 文档的可理解性和开发效率。研究结果揭示了重要主题，常见问题和潜在解决方案，旨在为开发人员提供实用工具以提升软件开发流程。

    Aug, 2023

  • 从 API 规格书生成自然语言句子

    本文介绍了一种将 APIs 与聊天机器人相融合的方案，旨在帮助缺乏技术能力的业务用户实现自动化解决方案。文中提出了一种生成句子训练意图识别模型的系统，并使用深度学习模型进行评估，结果显示很有前景，在系统中引入人的参与将进一步提高系统性能。

    Jun, 2022

  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • ToolLLM: 促进大型语言模型掌握 16000 + 现实世界 API

    通过引入 ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用 ChatGPT 创建一个工具使用指导数据集 ToolBench，并使用深度优先搜索决策树（DFSDT）扩展搜索空间，有效地获取有效的解决方案路径。通过对 LLaMA 进行微调后得到 ToolLLaMA，我们的评估器 ToolEval 显示 ToolLLaMA 在执行复杂指令和推广到未见过的 API 方面表现出卓越的能力，并与 ChatGPT 有着相当的性能。为了使流程更加实用，我们设计了一个神经 API 检索器以为每个指令推荐适当的 API，省去了手动选择 API 的繁琐步骤。

    Jul, 2023

  • 自动爬虫：用于网页爬虫生成的渐进理解网络代理

    通过将大型语言模型与网络爬虫结合，本研究提出了一种自动生成网页爬虫的框架 AutoCrawler，并通过多种实验验证了它的有效性。

    Apr, 2024

  • 利用大型语言模型构建和执行计算工作流

    利用大型语言模型、代码生成和工作流管理系统的初步发现，本文探讨了如何利用这些新兴技术来实现复杂科学工作流的自动化。

    Dec, 2023

  • 优化大型语言模型对 OpenAPI 代码补全的应用

    该研究评估了 GitHub Copilot 在 OpenAPI 完成度方面的性能，并提出了一组针对任务的特定优化，利用了 Meta 的开源模型 Code Llama。该研究还提出了一种语义感知的 OpenAPI 完成度基准方法，并通过一系列实验分析了各种提示工程和微调技术对 Code Llama 模型性能的影响。经过微调的 Code Llama 模型在参数数量比商业解决方案 Codex 模型的基础下少 25 倍的情况下，将正确性改进达到了 55.2% 的峰值。此外，该研究还提出了一种改进的代码插入训练技术，解决了模型在提示上下文大小小于训练时使用的大小时性能不佳的问题。

    May, 2024