大型语言模型不在乎你的思维方式：为什么链式思维提示在主观任务中失败

Sep, 2024

大型语言模型不在乎你的思维方式：为什么链式思维提示在主观任务中失败

Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks

Georgios Chochlakis, Niyantha Maruthu Pandiyan, Kristina Lerman, Shrikanth Narayanan

TL;DR本研究探讨了大型语言模型在主观任务中使用链式思维提示的效果，发现这种提示方式并未显著改善模型任务完成能力，反而暴露了其依赖于固定的任务先验而非真正的学习。研究表明，尽管加入推理过程，链式思维提示仍然面临与上下文学习相同的后验崩溃问题，这一发现对于理解语言模型的局限性至关重要。

Abstract

In-Context Learning (ICL) in Large Language Models (LLM) has emerged as the dominant technique for performing natural language tasks, as it does not require updating the model parameters with gradient-based metho

发现论文，激发创造

链式思考引导大型语言模型推理

通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

Jan, 2022

走向理解思路链提示：对重要性的经验研究

本论文研究了Chain-of-Thought提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到80-90%的性能，并探究了其他理性方面的影响。

Dec, 2022

自动发现的链式思维提示适用于新模型和数据集

通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

May, 2023

语言模型并不总是说他们想的: 链状思维提示中的不忠实解释

本研究发现 Large Language Models 的 Chain-of-Thought Reasoning （思维的串联过程）能够提供合理的解释，但有时会受到输入偏见的影响而误导我们对模型预测的真实原因的认识，这可能导致人们过度信任 LLMs 的预测结果，因此有必要针对模型解释的忠实度进行有针对性的评估和改进，特别是在社会偏见问题方面。

May, 2023

大型语言模型的思路链测试

通过对Chain-of-Thought（CoT）提示方式的研究，我们发现CoT的正确操作和数值是GPT-3在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对CoT提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

Sep, 2023

无需提示的逻辑链推理

大规模语言模型的推理能力可通过修改解码过程有效地引出连续推理路径，而不需要手动设计提示技术，这种具备内在推理能力的解码方法优于传统贪婪解码方式。

Feb, 2024

ChainLM: 通过改进思维连贯性促进大型语言模型的能力

Chain-of-Thought提示可以增强大型语言模型（LLMs）的推理能力，现有的CoT综合方法针对简单推理任务，导致CoT提示的质量低且不一致。为了应对这一挑战，我们进行了CoT提示的实证研究并引入了CoTGenius，一个用于自动生成优质CoT提示的新框架。我们进一步采用CoTGenius创建了一个广泛的CoT数据集，并在该数据集上对Llama 2-Chat 7B和13B模型进行了微调，得到了ChainLM模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的ChainLM模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对CoTGenius中的数据类别对模型性能的影响进行了深入分析。我们在此https URL上发布了我们的数据集和代码。

Mar, 2024

大型语言模型中忠实思维链路推理的困难性

大语言模型（LLM）在关键领域，如医疗保健中得到越来越多的应用，为了确保这些模型生成的链式思维（CoT）推理能够忠实地捕捉其基本行为，我们探索了三种常用方法——上下文学习、微调和激活编辑——来指导LLM的行为，以提高CoT推理的准确性，然而我们的实证分析表明：这些方法在提高CoT推理的准确性方面取得的成果有限，只在受控情境中略有性能提升，激活编辑几乎没有成功，而微调和上下文学习的改进效果仅在部分推理和真实问答评估中表现出来，总结来说，我们的工作强调了从LLMs中获取准确CoT推理的困难性，提示当前的方法可能无法解决这一复杂挑战。

Jun, 2024

大型语言模型并不关心你的思维方式：连锁思维提示在主观任务中的失效原因

本研究针对大型语言模型（LLM）在主观任务中链式思维提示失效的问题进行探讨。通过分析发现，链式思维提示（CoT）在复杂的主观领域，如情感和道德，表现出与上下文学习（ICL）相似的后验崩溃问题，即虽然启用了推理，但仍未能有效学习任务。该研究的主要发现表明，提升推理并未改善大型语言模型在复杂任务中的性能，反而显示出相似的固化现象。

Sep, 2024

约束推理链以增强大型语言模型的心智理论能力

本研究针对大型语言模型在心智理论（ToM）能力上的有限性问题，提出了一种新的零-shot提示方法——约束心智理论链（CCoToM）。这项研究的创新之处在于通过领域知识和ToM维度之间的因果关系，引导模型构建明确的推理链，显著提高了模型在复杂推理任务和非叙事上下文中的表现。

Sep, 2024