Sep, 2022

文本与模式：有效思路链需要双方共同努力

PDF
TL;DR本文研究了基于 chain of thought (CoT) prompting 的 few-shot 学习机制，使用反事实提示进行实验，并通过多个模型证实了 CoT 的成功不是由 pattern 的存在而来，而是其中一个目的是在输出中找到正确的单词以形成一个正确的答案。文本有助于从问题中提取通识知识和含义，模式则强化任务理解和直接文本生成。
发现论文，激发创造
  • 大型语言模型中的模式感知思维链激励

    链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

    Apr, 2024

  • 走向理解思路链提示：对重要性的经验研究

    本论文研究了 Chain-of-Thought 提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到 80-90% 的性能，并探究了其他理性方面的影响。

    Dec, 2022

  • 迈向更好的思路链引导策略：调研

    我们对 Chain-of-Thought (CoT) 的关键因素进行了系统和全面的分析，介绍了如何在不同应用中更好地应用 CoT 提示，并提出了一些建议和未来的研究方向。

    Oct, 2023

  • 大型语言模型的自动思维联想提示

    本论文提出一种基于链式推理的自动提问方法 Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。

    Oct, 2022

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 何时需要为 ChatGPT 启用思维链提示？

    通过使用 Chain-of-Thought 提示，多达数步的复杂推理可以被提取。然而，在 ChatGPT 上，这种提示对于某些任务不再有效。这反映了指令过度拟合 / 偏见的潜在风险，这种情况在训练 LLMs 时变得更为普遍。

    Apr, 2023

  • 大型语言模型的思路链测试

    通过对 Chain-of-Thought（CoT）提示方式的研究，我们发现 CoT 的正确操作和数值是 GPT-3 在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对 CoT 提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

    Sep, 2023

  • 验证和编辑：一种知识增强的思维链框架

    本文提出了一种用于 CoT 提示的 Verify-and-Edit 框架，通过使用外部知识来编辑推理链以提高其准确性，改善了大语言模型中存在的缺陷，实现了在多个开放型问题回答任务中的准确度提升。

    May, 2023

  • 流式批处理下的思维链提示：以案例研究为例

    本研究探讨如何在流式学习环境下对批处理数据进行链状思维提示构建和优化，以实现大型语言模型的复杂推理能力自动化。

    Jun, 2023

  • Meta-CoT：大型语言模型中的混合任务场景中可普遍化的思维链开启

    使用混合任务场景中的元推理链 (Meta-CoT) 提示方法，构建来自相应数据池的多样化演示，可同时在十个公共基准推理任务上表现出卓越的性能和优越的泛化能力。

    Oct, 2023