Jul, 2024

PLANTS: 一种用于规划类任务摘要的新问题和数据集

HTML
PDF
TL;DR在人类阅读的非结构化文本中获取洞见的文本摘要是一个经过深入研究的问题，然而许多实际任务涉及生成一系列行动以实现特定的目标，例如工作流程、食谱、对话和旅行计划。我们研究了这一观察，并引入了一个新颖的计划摘要问题，提出了一个数据集和一个用于生成计划摘要的基准方法。通过使用定量指标和定性用户研究来建立基准，我们评估了我们方法和大型语言模型生成的计划摘要。我们相信这个新颖的问题和数据集可以重新激发对摘要领域的研究，而有些人认为这是一个已解决的问题。
发现论文，激发创造
  • CTRLsum: 通用可控文本摘要

    CTRLsum是一种用于可控摘要的新型框架，它能够使用户通过文本输入关键词或描述性提示来控制生成摘要的多个方面，在不需要额外人工注释或预定义训练期间的控制方面的情况下，在三个领域的摘要数据集和五种控制方面中得到量化证明，并在CNN/DailyMail数据集上取得了最先进的结果。

    Dec, 2020

  • 超越文本生成：通过持续的自动文本摘要支持写手

    本文提出了一个文本编辑器，使用自动文本摘要为用户提供不断更新的逐段摘要，以边缘注释的方式帮助用户规划、结构化和反思写作过程。通过两个用户研究，作者发现这个系统为用户提供了一个外部的视角来帮助他们修改段落的内容和范围，并且帮助用户快速了解文本的总体情况和开发一些集成自动摘要中得到的见解的策略。通过探究和强调设计AI工具以帮助写作的价值，这项工作突显了自然语言处理(NLP)能够超越直接的文本生成和纠正。

    Aug, 2022

  • Text-Blueprint: 基于计划的条件生成的交互平台

    通过问题-答案对的序列作为引导文本生成的蓝图计划，将计划作为中介步骤，可以更好地控制条件生成模型的生成过程。我们提出了一种基于Web浏览器的演示，用于查询聚焦摘要，演示用户如何与生成的文本交互并使用基于蓝图的计划可视化来控制生成的输出。

    Apr, 2023

  • 使用内容计划作为跨语言桥梁的汇总方法$μ$PLAN

    本文介绍一种名为μPLAN的跨语言概括方法，该方法使用中间计划步骤作为跨语言桥梁，通过多语言知识库对计划进行对齐来生成摘要。在针对XWikis数据集的评估中，该规划方法通过ROUGE和忠实度比分方面取得了最先进的性能，并且比非规划基线提高了零-shot转移到新的跨语言语言配对的能力。

    May, 2023

  • USB：跨任务和领域的统一摘要基准

    本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

    May, 2023

  • 理解大型语言模型在自动化规划方面的能力

    该研究旨在探讨大型语言模型在自动计划中的应用，研究包括使用何种预训练数据最有效、微调或提示哪种方法最有效以及大型语言模型能否进行计划综合。

    May, 2023

  • Tree-Planner：基于大型语言模型的高效闭环任务规划

    通过分解LLM查询为单个计划采样调用和多个实时环境决策调用，Tree-Planner实现了先进的性能并保持高效率。

    Oct, 2023

  • TIC：使用LLMs和逻辑中间表示进行准确的‘文本到计划’的翻译-推断-编译

    我们研究了生成给定自然语言规划任务请求的计划的问题。我们利用了自然语言处理和经典规划工具的优势通过使用LLM生成规划任务请求的PDDL表示，并使用经典规划器计算计划。我们的方法包括使用LLM生成自然语言任务描述的逻辑可解释中间表示，使用逻辑推理器推导出附加的逻辑依赖信息，以及从基础和推导得出的信息生成目标任务PDDL。我们观察到，仅使用LLM输出中间表示显著减少了LLM的错误。因此，在我们的评估数据集的所有七个领域中，TIC方法至少对一个LLM在任务PDDL生成方面具有高准确性。

    Feb, 2024

  • 用程式化警告和提示数据集评估语言模型的隐性规划技能

    使用PARADISE数据集和任务，探讨大型语言模型在实际过程文本中推理和计划能力的强弱，发现使用任务特定的小型模型在大多数情况下效果更好，但所有模型都无法与人类表现相媲美。

    Mar, 2024

  • 星象馆：将文字转换为结构化规划语言的严格基准

    对于自然语言任务描述生成PDDL代码的能力，存在评估困难，因此引入了一个基准测试数据集bench​​markName，包括132,037个文本到PDDL对，通过对几种语言模型的评估表明了该任务的复杂性。

    Jul, 2024