Feb, 2024

用于少样本生成基于内容的问答对话的结构化思路引导

PDF
TL;DR我们提出了一种结构化的思维链（SCoT）提示方法，使用预训练的大型语言模型（LLM）生成基于内容的多轮问答对话，并通过将复杂任务分解为状态机中的多个状态，通过其专用状态执行各种子任务，例如读取内容和生成话语等，以增加对基础文档的代理忠实度并减轻错误生成。
structured chain-of-thought promptingmulti-turn question-answer conversationshallucination mitigationagent faithfulnessconversational qa agents
发现论文，激发创造
  • 利用思维链激发大规模语言模型进行少样本知识库问题生成

    通过链式思考促进的 KBQG 方法在低资源情况下提供了有效的少样本问题生成方法，比现有基线方法在 KBQG 任务上取得了显著的性能提升。

    Oct, 2023

  • 自主链式思维对于面向开放域多跳推理的大型语言模型

    在这篇文章中，我们提出了自主启发式链式思考 (SP-CoT) 自动化框架，用于大规模生成高质量的多跳推理数据集并通过上下文学习实现自主启发式推理，实验证明 SP-CoT 在大规模和小规模语言模型上的性能均显著优于前沿方法，并能在中间步骤中召回约 50% 的中间答案。

    Oct, 2023

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 验证和编辑：一种知识增强的思维链框架

    本文提出了一种用于 CoT 提示的 Verify-and-Edit 框架，通过使用外部知识来编辑推理链以提高其准确性，改善了大语言模型中存在的缺陷，实现了在多个开放型问题回答任务中的准确度提升。

    May, 2023

  • Meta-CoT：大型语言模型中的混合任务场景中可普遍化的思维链开启

    使用混合任务场景中的元推理链 (Meta-CoT) 提示方法，构建来自相应数据池的多样化演示，可同时在十个公共基准推理任务上表现出卓越的性能和优越的泛化能力。

    Oct, 2023

  • 基于有限样本的思维链驱动推理用于开放式医学问题回答的 LLMs

    使用大型语言模型（LLMs）自动化医疗任务，如临床记录、信息检索和决策支持。我们提出一种修改的 MedQA-USMLE 数据集，用于模拟真实的临床场景，并探索基于思维链（CoT）推理的主观响应生成，以获取正确的医疗问题答案。我们还利用回报训练机制和人类参与，开发了更好的对比学习策略，并通过增量推理的提示得出贪婪解码方法比其他策略更好的结论。

    Mar, 2024

  • 知识密集型多步问题的交错检索与思维链推理

    提出了 IRCoT 方法，在多步 QA 过程中使用检索和 CoT 交替进行，同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上，使用 IRCoT 方法取得了显著的检索和 QA 性能改进，即便是在小型模型 T5-Flan-large（0.7B）上也能奏效。

    Dec, 2022

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 大型语言模型中的模式感知思维链激励

    链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

    Apr, 2024

  • 探究思维链式提示在文本到 SQL 转换中的应用

    本文研究如何通过链式思维提示增强 LLM 的文本到 SQL 解析的推理能力，实验结果表明，通过避免错误传播的详细信息，新方法在 Spider 开发集上的表现比现有方法提高了 2.4 个绝对值。

    May, 2023