Aug, 2023

TaskLAMA: 探究语言模型的复杂任务理解能力

PDF
TL;DR通过使用大型语言模型，我们从高质量的人工标注数据集中提取知识，并引入了新的评估指标，发现结构化复杂任务分解能够有效地将复杂任务分解为个别步骤，相对于基准实验的最大改进幅度为 280%，但在预测两两时间依赖性方面仍存在困难。
structured complex task decompositiondirected acyclic graphassistive planning toolslarge language modelspairwise temporal dependencies
发现论文，激发创造
  • 小语言模型微调以协调更大的语言模型，提升复杂推理

    引入 DaSLaM，使用分解生成器将复杂问题分解为需要更少推理步骤的子问题，由求解器回答。我们的方法在多个不同推理数据集上进行评估，表明 1750 亿参数 LM（text-davinci-003）可以产生与规模更大的 GPT-4 相比具有竞争力甚至更好的性能。

    Oct, 2023

  • DELTA：基于大型语言模型的分解型高效长期机器人任务规划

    提出了一种名为 DELTA 的新型 LLM 驱动的任务规划方法，通过将环境拓扑图作为 LLM 中的环境表示，以快速生成精确的规划问题描述；同时利用 LLM 将长期任务目标分解为自回归的子目标序列，以供自动化任务规划器解决；该方法提供了更高效且完全自动化的任务规划流程，实现了比现有技术更高的规划成功率和显著缩短的规划时间。

    Apr, 2024

  • ADaPT：根据需要的分解和语言模型规划

    大型语言模型（LLMs）在交互决策任务中的规划和适应环境方面的应用，遇到任务复杂性挑战时，我们通过 ADaPT 方法明确计划和分解复杂子任务，在多层次分解中动态调整执行者 LLM 的能力以及任务复杂性，最终取得了显著性成果。

    Nov, 2023

  • 分而治之？您应该压缩 LLM 的哪个部分？

    我们提出一种将问题分解为问题分解阶段和问题解决阶段的策略，并证明该策略能够优于单阶段解决方案。通过在结合问题解决 LLMs 的同时利用较小的问题分解模型，我们能够实现具有高效推理和局部适应性的推理。

    Feb, 2024

  • 用分治程序引导大型语言模型进行问题解决

    建议使用分治程序来引导大型语言模型（LLM），以解决存在中间错误和欺骗内容的任务，可以提供更好的性能。

    Feb, 2024

  • 将 LLM 的分解能力提取为简洁的语言模型

    通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力方面的潜力。

    Feb, 2024

  • 基于动态任务分解和代理生成的多智能体框架 TDAG

    我们提出了一种基于动态任务分解和代理生成（TDAG）的多代理框架，该框架将复杂任务动态分解为较小的子任务，并将每个子任务分配给生成的特定子代理，在增强多样且不可预测的真实世界任务中提高适应性。同时，我们引入了 ItineraryBench 作为旅行规划领域的评估系统来评估智能体在记忆、规划和工具使用等不同复杂性任务中的能力，实验结果表明 TDAG 在复杂任务场景中展现出卓越的适应性和上下文感知能力。

    Feb, 2024

  • TaskBench: 用于任务自动化的大型语言模型基准测试

    最近，大型语言模型的不断进展引发了任务自动化的火花，其将用户指令描述的复杂任务分解为子任务，并调用外部工具执行它们，在自主代理中起着核心作用。然而，缺乏一个系统的和标准化的基准来促进 LLM 在任务自动化中的发展。为此，我们引入了 TaskBench 来评估 LLM 在任务自动化中的能力。具体而言，任务自动化可以分为三个关键阶段：任务分解，工具调用和参数预测以实现用户意图。这种复杂性使得数据收集和评估与常见的自然语言处理任务相比更具挑战性。为了生成高质量的评估数据集，我们引入了工具图的概念来表示用户意图中的分解任务，并采用反指导方法来模拟用户指令和注释。此外，我们提出了 TaskEval 来从任务分解、工具调用和参数预测等不同方面评估 LLM 的能力。实验结果表明，TaskBench 能够有效地反映 LLM 在任务自动化中的能力。借助自动化数据构建和人工验证的综合，TaskBench 相对于人工评估具有高一致性，可以作为 LLM-based 自主代理的全面而可靠的基准。

    Nov, 2023

  • 基于大型语言模型的机器人任务规划与有向图结构表示

    该研究提出了一种将人类专业知识和 LLM 结合的任务规划方法，通过逐步分解任务并生成任务树来减少每个任务的计划量，并设计了一种策略来分离机器任务计划，从而使任务计划过程更加灵活。

    Jun, 2023

  • 基于时间线的句子分解与上下文学习的时间事实提取

    本文主要研究了从自然语言文本中提取时间事实的方法，提出了基于时间轴的句子分解策略，利用大型语言模型进行上下文学习，以确保对各种事实相关的时间轴有更细粒度的理解。同时，介绍了一种将大型语言模型的分解能力与传统小型预训练语言模型的微调相结合的方法（TSDRE），并构建了一个复杂的时间事实提取数据集进行评估，实验结果在 HyperRED-Temporal 和 ComplexTRED 数据集上取得了最先进的结果。

    May, 2024