本文提出了一种名为Rehearsal Memory(RM)的方法，通过自监督的历史抽样式重复训练，设计了回忆和熟悉度等训练任务来提高对长序列的记忆，为了让记忆关注重要信息，设计了历史抽样器来选择有用的信息片段，通过bAbI任务、文本/视频问答和推荐等多种测试表明该方法大大提高了长序列推理的效率和精度。

Jun, 2021

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过fine-tuning在多个任务上达到了SOTA水平。

Oct, 2022

本文提出了一种名为MoT的新型框架，用于让LLM通过思考存储到外部记忆中来自我提升，实现推理和回答问题的能力的优化。实验结果表明，所提出的框架可以显著帮助ChatGPT在数学推理，常识推理，事实推理和自然语言推理方面提高其能力。

May, 2023

该研究提出了一种名为Self-Polish的新方法，旨在通过引导模型逐步精炼给定的问题，以提高其问题解决能力，与其他提示方法正交，有效地提高了针对不同数据集的Few-Shot学习和CoT模型的表现。

May, 2023

通过多轮互动学习范式和自我反思学习，我们提出了一种定制化学习方法，从而将推理能力传授给较小的语言模型，以促进推理能力的开放和普及。

Oct, 2023

聚焦大型语言模型，探索通过自我解释生成复杂问题的过程，发现自我解释可以使模型更自信、更准确、更少倾向性地回答问题，甚至在几个复杂问题回答数据集上优于人工生成的示例。

Nov, 2023

SELF-DISCOVER是一个通用的框架，使LLMs能够自我发现任务内在的推理结构来解决复杂的推理问题，并在BigBench-Hard、基于代理的推理和数学等具有挑战性的推理基准上，相较于Chain of Thought (CoT)的性能提升高达32%。此外，SELF-DISCOVER在需要10-40倍少得多的推理计算的情况下，超过了CoT-Self-Consistency等推理密集型方法20%以上。最后，我们证明了自我发现的推理结构在模型族之间是普适的：从PaLM 2-L到GPT-4，从GPT-4到Llama2，并与人类推理模式共享共同点。

Feb, 2024

我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

Mar, 2024

在这篇论文中，作者提出了一种新方法Quiet-STaR，通过使语言模型能够生成每个标记的理由来解释未来的文本，以改进其预测能力，并在不需要对这些任务进行微调的情况下，在多个基准测试中取得了显著的改进。

Mar, 2024

利用多步骤推理方法和生成概率的置信度度量，我们提出了一种内在的自我纠正推理框架，无需人类反馈、外部工具和手工提示，在不学习错误的情况下提高大型语言模型的推理性能。实验证实了该框架在各种多步骤推理任务中改善了推理性能，同时减少了令牌的使用。

Mar, 2024