Mar, 2024

AS-ES 学习：小模型中高效的 CoT 学习

PDF
TL;DR采用新的训练方法 AS-ES（Abstractive Segments - Extractive Segments）学习，利用 CoT 中的内在信息进行迭代生成，实验证明该方法在 MWP 和 PET 摘要等 CoT 广泛任务上优于直接的 seq2seq 训练，无需数据增强或改变模型本身，并且进一步探讨了小模型学习 CoT 低效的原因并解释了 AS-ES 学习的原理，为 CoT 的基本机制提供了洞察。
chain-of-thoughtllmslogical reasoningas-es learningcot data
发现论文，激发创造
  • ERA-CoT: 通过实体关系分析改进思维链

    我们提出了一种新的方法 ERA-CoT，通过捕捉实体之间的关系并通过思维链条（CoT）支持多样化任务的推理，从而帮助大型语言模型（LLMs）理解上下文，实现了在 GPT3.5 上相较于现有的 CoT 提示方法，平均提升了 5.1％的显著改进，增加了 LLMs 对实体关系的理解，显著提高了问答的准确性和推理能力。

    Mar, 2024

  • 通过潜变量推断训练思维链

    大型语言模型通过使用 ``思维链 '' 提示以逐步解决问题的方式更准确地解释，一种监督微调的方法是通过使用可调参数的梯度上升来最大化标记训练集中正确答案的平均对数似然。然而，我们提出了一种微调策略，尝试通过使用思维链提示最大化生成正确答案的`` 边际 '' 对数似然，大致平均所有可能的解释。我们使用受自学习推理器、备忘录式唤醒 - 休眠、马尔可夫性分数爬升和持续对比散度启发的简单马尔可夫链蒙特卡罗 - 期望最大化 (EM) 算法来解决条件于正确答案的解释后验分布的采样问题，并采用一种新颖的控制变量技术，随着模型的改进，将逐渐降低梯度估计的方差。将我们的技术应用于 GSM8K 和 BIG-Bench Hard 中的任务，我们发现这种 MCMC-EM 微调技术通常比 STaR 或带有或不带有思维链提示的微调方法在留存样例上提高模型准确性。

    Nov, 2023

  • CoF-CoT：面向多域 NLU 任务的粗到细思维链路提示技术增强大型语言模型

    我们提出了一种粗细链式思维（CoF-CoT）方法，将自然语言理解任务分解为多个推理步骤，以便大型语言模型学习获取和利用解决不同粒度任务所需的关键概念，并利用基于语义的抽象意义表示（AMR）结构化知识作为中间步骤，捕捉话语的细微差别和多样性结构，并理解它们的不同层次之间的联系。我们的方法在零样本和少样本多领域设置下，证明了对大型语言模型在多粒度自然语言理解任务中的辅助作用。

    Oct, 2023

  • CoT 集合：通过思维链微调改善语言模型的零样本和少样本学习

    通过不同程度的 fine-tuning，基于 Flan-T5 的大型语言模型学习了 Chain-of-Thought 推理并表现出更强的 few-shot learning 能力，使得在 27 个数据集上的平均零 - shot 准确率提高了 4.34％和 2.44％，并在 4 个特定领域的任务上获得了进一步的改进。

    May, 2023

  • 从显式 CoT 到隐式 CoT：逐步学习内化 CoT

    通过逐渐去除中间步骤并微调模型，我们的方法使得一个 GPT-2 Small 模型能够以高达 99% 的准确率解决 9 乘 9 的乘法问题，而标准训练无法解决 4 乘 4 以上的乘法问题。

    May, 2024

  • 思维之阶梯：利用知识提升立场检测

    通过引入 Ladder-of-Thought (LoT) 来改进 ChatGPT 和 CoT 模型，在提高中间推理过程和使用外部知识的基础上，在立场检测任务中实现了 16% 的改进。

    Aug, 2023

  • CodeCoT 及其进展：学习像开发者一样编程和测试

    采用自我审查和连续推导的方法，我们提出了一种名为 Code Chain-of-Thought（CodeCoT）的新策略，通过辅助 LLM 模型生成代码和改进输出，从而显著提高了代码生成的准确性。

    Aug, 2023

  • 在大型语言模型中通过迭代引导提高思维链路提示

    通过使用迭代的引导选择，我们介绍了迭代链式思考（Iter-CoT）方法，该方法可以使大型语言模型（LLM）自主纠正错误，同时选择具有适度难度的挑战性问题作为样本，从而增强 LLM 对于不同难度的推理任务的泛化能力。实验结果表明 Iter-CoT 方法在 11 个数据集上展现出卓越的性能表现。

    Apr, 2023

  • 大型语言模型是推理教师

    本研究提出了 Fine-tune-CoT 方法，该方法利用非常大的语言模型以生成推理样本并通过微调来教授较小的模型，从而在较小的模型中实现了大量的推理能力优化。

    Dec, 2022

  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023