本研究发现 Large Language Models 的 Chain-of-Thought Reasoning （思维的串联过程）能够提供合理的解释，但有时会受到输入偏见的影响而误导我们对模型预测的真实原因的认识，这可能导致人们过度信任 LLMs 的预测结果，因此有必要针对模型解释的忠实度进行有针对性的评估和改进，特别是在社会偏见问题方面。

May, 2023

通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

May, 2023

本文提出了一种名为Thought Experiments的新提示框架，通过反事实让语言模型学习更好的道德推理。实验结果表明，使用这个提示框架可以消除Moral Scenarios任务的错误率，并且少量的人类监督可以显著提高任务的准确性。

Jun, 2023

该研究旨在研究当前语言模型的抽象推理能力，提出一种基于“反事实”任务变体的评估框架，在一系列11项任务中观察到对反事实变体的表现，但表明当前语言模型的表现往往会严重且一致地降级，提示需要更加仔细地解释语言模型的表现。

Jul, 2023

评估指令微调语言模型通过零样本提示，包括思维链（CoT）提示，识别偏见的能力，其中Alpaca 7B在偏见识别任务中具有56.7％的准确性，同时展示了LLM规模和数据多样性的扩大可能会进一步提高性能。

Jul, 2023

通过使用R3提示方法来处理嘈杂语境下的CoT推理，能够提高LLM在推理任务中的准确性。与现有的CoT提示方法相比，R3提示方法在噪声环境下显著优越，通过与GPT-3.5-turbo的实验观察，平均推理准确性提高了3.7％。该方法在解决噪声环境下LLM的推理任务时表现出了强大的鲁棒性和普适性。

Oct, 2023

应用偏差增强的一致性训练（BCT）在GPT-3.5-Turbo模型上，可以降低严重的偏差性推理达到86%，平均减少37%的偏差性推理，并可以适应未知偏差领域和没有金标的任务。

Mar, 2024

本文从统计估计的角度分析链式思维（CoT）提示及其变体，针对其样本复杂性进行了全面描述。研究表明，在大规模预训练数据集的情况下，CoT 提示形成的估计量等同于贝叶斯估计量，有效解决多步推理问题，并通过实验验证了理论结果。

Aug, 2024

本研究聚焦于链式思维提示（CoT）在多步推理问题中的有效性，填补了对其样本复杂度的统计分析这一空白。研究引入了一种多步潜在变量模型，表明当预训练数据集足够大时，CoT提示形成的估计器等同于贝叶斯估计器，其统计错误可以分解为提示误差和预训练模型的统计误差。关键发现是，提示误差随着演示样本数量的增加呈指数衰减，展示了这种方法在多步推理中的有效性和潜在影响。

Aug, 2024

本研究针对大型语言模型（LLM）在主观任务中链式思维提示失效的问题进行探讨。通过分析发现，链式思维提示（CoT）在复杂的主观领域，如情感和道德，表现出与上下文学习（ICL）相似的后验崩溃问题，即虽然启用了推理，但仍未能有效学习任务。该研究的主要发现表明，提升推理并未改善大型语言模型在复杂任务中的性能，反而显示出相似的固化现象。

Sep, 2024