Oct, 2023

逆向链：LLMs 掌握多 API 规划的通用规则

PDF
TL;DR该论文提出了一种名为反向链的简单而可控的目标驱动方法，用于使大型语言模型在没有微调的情况下能够使用外部 API，通过实现简单的任务，如 API 选择和参数补全，并通过通用规则实现可控的多个函数调用。数值实验表明，反向链在实现多个函数调用方面具有令人印象深刻的能力，并且有趣的是，实验还表明现有语言模型的工具使用能力可以通过反向链得到极大改善。
发现论文，激发创造
  • CodeChain: 通过自修订的子模块链实现模块化代码生成

    通过一系列自我修订实现模块化代码生成的 CodeChain 框架，在解决复杂编程任务方面取得显著提升。

    Oct, 2023

  • ToolLLM: 促进大型语言模型掌握 16000 + 现实世界 API

    通过引入 ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用 ChatGPT 创建一个工具使用指导数据集 ToolBench，并使用深度优先搜索决策树（DFSDT）扩展搜索空间，有效地获取有效的解决方案路径。通过对 LLaMA 进行微调后得到 ToolLLaMA，我们的评估器 ToolEval 显示 ToolLLaMA 在执行复杂指令和推广到未见过的 API 方面表现出卓越的能力，并与 ChatGPT 有着相当的性能。为了使流程更加实用，我们设计了一个神经 API 检索器以为每个指令推荐适当的 API，省去了手动选择 API 的繁琐步骤。

    Jul, 2023

  • Bi-Chainer：自动化大型语言模型双向链式推理

    提出了一种双向链式方法 Bi-Chainer，通过动态切换至深度优先推理来解决单向链式方法在复杂逻辑问题中的低预测准确性和效率问题，并展示了在四个具有挑战性的逻辑推理数据集上，Bi-Chainer 相较于单向链式框架实现了可观的准确度提升。此外，Bi-Chainer 提升了中间证明步骤的准确度，同时减少了推理调用的平均次数，从而实现更高效准确的推理。

    Jun, 2024

  • AI Chains: 通过大型语言模型提示链实现透明和可控的人工智能交互

    通过将不同步骤进行连锁，结合原语操作以及交互式系统的支持，可以提高大型语言模型的制约性、用户透明度和协作感，并可以为未来应用中提供多种诊断、校准和比较算法的方法。

    Oct, 2021

  • 工具链：大型语言模型作为自动多功能学习器

    通过自动工具链和黑盒探测方法，为大型语言模型提供了扩展功能，使其成为多工具用户，能够主动发现和使用新工具，从而解决实际任务中的规划和工具选择的挑战。

    May, 2024

  • ToolChain*: 大规模语言模型中基于 A * 搜索的高效动作空间导航

    大型语言模型（LLMs）基于高效的树搜索规划算法 ToolChain*，通过在决策树中优化行动空间导航来提高解决问题和规划能力，并在多个任务上超过了现有方法的性能。

    Oct, 2023

  • 利用链式抽象推理进行高效工具使用

    大型语言模型需要通过链接现实世界的知识来实现与人类期望一致的准确推理。我们提出了一种新的方法，使用抽象链条进行计划，从而使语言模型能够更好地利用工具进行多步推理，并取得更高效的工具使用和更快的推理速度。

    Jan, 2024

  • 支持不完整用户查询的 LLM + 推理 + 规划在 API 存在的情况下

    最近大型语言模型（LLMs）的可用性推动了许多基于 LLM 的方法的发展，旨在提供各种最终用户任务的自然语言接口。我们提出的方法的关键思想是利用逻辑推理和经典人工智能规划，结合 LLM 准确回答用户查询，包括识别和收集这些查询中的任何缺失信息。

    May, 2024

  • 面向可解释和语言无关的 LLMs：大规模语言符号逆向工程

    本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。

    May, 2023

  • 从总结到行动：利用开放式接口增强大规模语言模型对复杂任务的应用

    人类与动物之间的区别在于人类可以使用和创造工具，而使大型语言模型具备学习外部工具使用的能力可以成为实现人工智能的重要一步。本研究引入了一种新的工具调用管道，设计用于控制庞大的真实世界应用程序接口，通过 ` 从摘要到行动 ' 的 Sum2Act 管道，在复杂的真实用户查询中模拟人类解决问题的过程，从而提高了大型语言模型的性能，优于现有的方法。

    Feb, 2024