May, 2024

Seal-Tools: 自助工具学习数据集用于代理调整和详细基准测试

PDF
TL;DR本研究提出了一个新的工具学习数据集 Seal-Tools，它包含了自学习的类似 API 的工具。通过提供大量的工具和实例，Seal-Tools 不仅能实现数据的大规模生成，还能展示工具的实际应用。为了确保可靠性，我们提出了一种自学习方法来生成工具和实例，使得过程能够被精确控制。此外，Seal-Tools 包含一些难度较高的实例，其中有些实例需要调用多个嵌套的工具来完成任务。为了进行精确和综合的评估，我们采用了严格的格式控制，并从不同角度设计了三个评估指标。因此，Seal-Tools 可以作为评估 LLMs 的工具调用能力的新基准。最后，我们在 Seal-Tools 上评估了几种流行的 LLMs 和我们微调的模型。结果表明当前的系统还远未达到完美。解码、数据和实验结果可在此链接获取。
发现论文，激发创造
  • SEAL : 交互式系统误差分析和标记工具

    这篇论文介绍了一种交互式的 Systematic Error Analysis and Labeling (SEAL) 工具，使用两步法逐步确定高误差片段数据，同时使用语言模型和文本到图像模型来为性能低下的数据集提供人类可理解的语义，从而解决 NLP 领域中因标签缺失和缺乏可视化特征而面临的挑战。

    Oct, 2022

  • TOOLVERIFIER：通过自验证实现针对新工具的泛化

    通过自我验证方法，在语言模型中学习使用工具是构建通用助手的重要里程碑，但仍然是一个尚未解决的问题。本研究介绍了一种通过自我对比问题在工具选择和参数生成过程中区分相似候选项的方法。在 ToolBench 基准测试的四个任务上进行了大量实验，包括了 17 个之前未见的工具，结果显示相较于少样本基准线平均提高了 22％，即使在候选工具之间的区别非常微妙的情况下也能有效改进。

    Feb, 2024

  • StableToolBench: 朝着大规模稳定的工具学习基准测试迈进

    通过结合外部工具，将大型语言模型与实施工具学习，以应对不同的现实挑战，获得显著进展。鉴于此，为了评估大型语言模型利用工具的能力，需要进行大规模且稳定的基准测试。因此，本研究提出了 StableToolBench，作为 ToolBench 的演进版本，引入了虚拟 API 服务器和稳定的评估系统，通过缓存系统与 API 模拟器相辅相成，稳定 API 服务器状态，同时采用 GPT-4 作为自动评估器，设计了可解决的通过率和胜利率，消除了评估过程中的随机性。实验结果验证了 StableToolBench 的稳定性，并进一步讨论了 API 模拟器、缓存系统和评估系统的有效性。

    Mar, 2024

  • ToolLLM: 促进大型语言模型掌握 16000 + 现实世界 API

    通过引入 ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用 ChatGPT 创建一个工具使用指导数据集 ToolBench，并使用深度优先搜索决策树（DFSDT）扩展搜索空间，有效地获取有效的解决方案路径。通过对 LLaMA 进行微调后得到 ToolLLaMA，我们的评估器 ToolEval 显示 ToolLLaMA 在执行复杂指令和推广到未见过的 API 方面表现出卓越的能力，并与 ChatGPT 有着相当的性能。为了使流程更加实用，我们设计了一个神经 API 检索器以为每个指令推荐适当的 API，省去了手动选择 API 的繁琐步骤。

    Jul, 2023

  • ToolQA: 一个带有外部工具的 LLM 问答数据集

    为了有效评估 Large Language Models（LLMs） 使用外部工具回答问题的能力，我们开发了一个名为 ToolQA 的新数据集，并使用可伸缩的自动化过程进行数据集的管理，并使用 13 种专门设计的工具进行交互以回答问题。

    Jun, 2023

  • GPT4Tools: 通过自我学习教授大型语言模型使用工具

    本文提出了一种名为 GPT4Tools 的方法，利用自我指导生成指令遵循的数据集，并利用 LoRA 优化，使开源 LLMs 解决一系列视觉问题，如视觉理解和图像生成。经过广泛实验，表明该方法不仅显著提高了调用已知工具的准确性，而且还使得未知工具具有零 - shot 能力。

    May, 2023

  • EASYTOOL：利用简明工具指导增强 LLM 型智能体

    为了解决大语言模型在使用工具时面临的多样性和冗长工具文档的问题，本研究引入了 EASYTOOL 框架，将不同来源的多样化和冗长的工具文档转化为统一且简明的工具指南，以提供标准化的工具描述和功能，并通过在多个不同任务上的广泛实验验证了 EasyTool 能够显著减少令牌消耗并提高实际场景中工具利用性能。

    Jan, 2024

  • 计划、创建、使用：实际复杂场景中综合工具利用的 LLM 基准测试

    通过 UltraTool，我们提供了一个新的基准来改进和评估大型语言模型在实际场景中利用工具的能力，重点关注从规划、创建到应用工具的整个过程，并强调了真实世界的复杂性，需要准确的多步规划来解决问题，从而为这个快速发展的领域提供了新的见解。

    Jan, 2024

  • 通过合作和互动代理学习使用工具

    利用工具学习来增强大型语言模型作为代理人使用外部工具来扩展其能力。我们提出了合作互动的代理人（ConAgents）框架，将工具学习的工作流程模块化为基础，执行和观察代理人，并引入迭代校准（IterCali）方法，以适应工具环境的反馈。实验证明我们的 ConAgents 框架在三个数据集上优于 SOTA 基准，同时我们还提供了对框架的效率和一致性的细粒度分析。

    Mar, 2024

  • 论开源大型语言模型的工具操作能力

    研究了在开源 LLM 中通过一定程度的人工监督和对数据进行生成和调整，将其在工具操作方面提升至与已有的闭源 LLM 相竞争的能力，同时设计了一个工具操纵基准进行了实验，结果表明，在大多数情况下，该方法可使其成功率提高至 90％。

    May, 2023