我们设计了三种基于自洽性的成熟校准方法，用于数学推理任务的 LLM 发展。通过使用开源 LLMs（Mistral 和 LLaMA2）在 GSM8K 和 MathQA 两个流行的基准上进行评估，我们的方法在模型置信度和准确性之间建立了更好的联系，优于基于 p (True) 或 logit 的现有方法。

Mar, 2024

本文提出了一种名为 “Reflective Decoding” 的新型无监督算法，可将单向的语言模型应用于非顺序生成任务，如释义和文本填充。实验证明，相较于基线方法，该算法在多个指标上表现更优秀，甚至超越了多个基于监督学习的基线模型。

Oct, 2020

监督微调通过各种数学推理任务增强了语言模型的问题解决能力。我们的研究引入了一种新的技术 —— 反思增强，通过嵌入问题反思来培养更深入的问题理解，从而不仅提高在标准场景下的性能，还在需要反思性思考的复杂场景中发挥作用。

Jun, 2024

大型语言模型通过自我反思在提高零样本和少样本推理能力方面表现出令人印象深刻的能力。我们通过首先证明自我反思的结果对提示语言敏感，例如，当明确提示查找错误时，更有可能得出错误的结论。因此，反思提示中的个别因素可能导致不必要地更改正确的反应。我们展示了自我反思文献中使用的大多数提示都容易产生偏差，并提出了构建保守识别错误的提示的不同方式。我们的研究结果强调了自我反思任务中提示工程的重要性。

Jun, 2024

通过反思调整指令的判断能力，本研究提出了一种名为 “reflection-tuning” 的新方法，利用 Oracle LLM 自省和提高数据中指令和回应的质量来优化大型语言模型（LLMs），在广泛使用的评估基准上的实验证明，我们用反思调整后的数据训练的 LLMs 在各种测评中表现优于使用现有数据集训练的模型。

Oct, 2023

利用自我反思的模型生成语言反馈，METAREFLECTION 技术能够学习特定领域的通用提示指令并提高大型语言模型的效率。在基础设施即代码漏洞检测和问答方面，METAREFLECTION 相对于 GPT-4 表现出 16.82%（IAC）、31.33%（COT）和 15.42%（REACT）的显著改进。

May, 2024

我们提出了一种基于自对照的策略，通过适应性地探索多样的解决观点、对比差异并总结出这些差异的清单，为大型语言模型增添了多样的视角，以减轻固执偏见，并且更准确和稳定地进行反思。

Jan, 2024

利用双向学习的自我反思框架来提高翻译任务、增强模型的自我反思能力并改进翻译表现，特别适用于低资源语言对的翻译任务，大大提高了翻译准确性和消除了歧义。

Jun, 2024

通过探索不同的提示策略对 LLM 的置信度校准的影响以及如何改进，本文提出了 Fact-and-Reflection（FaR）提示法，它通过两个步骤改善 LLM 的校准，同时大幅降低了预期校准误差，并在更自信的场景中还能引发检索增强来解决更难的情况。

Feb, 2024

本文介绍了一种名为 In-Context Reflection (ICR) 的新方法，通过策略性地选择示范来减少大语言模型 (LLMs) 的输出与实际输入输出映射之间的差异，从而克服了在实践中选择示范的困难。经过综合评估，ICR 在五个不同数据集和 13 个子任务中显示出了显著的效果和跨任务的普适能力。

Jan, 2024