Feb, 2024

巨型语言模型的推理解释解释能力如何？

PDF
TL;DR大规模语言模型的性能可以通过 Prompt Engineering 和 Chain-of-Thought 等提高，本研究从多个方面全面评估了可解释性并引入了一种名为 Self-Entailment-Alignment Chain-of-thought 的简单方法，该方法在多个维度上改进了超过 70%。
prompt engineeringchain-of-thoughtinterpretabilityreasoning stepsprompting techniques
发现论文，激发创造
  • 链式思考引导大型语言模型推理

    通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

    Jan, 2022

  • 合成提示：生成大型语言模型的思维链演示

    本文介绍了 Synthetic prompting 方法，该方法利用少量手工示例来提示模型自行生成更多示例，并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法，并表明其优于现有提示技术。

    Feb, 2023

  • 利用大语言模型优化小数据集的 Few-shot 推理表现

    本研究提出了一种名为 Prompt Space 的新的有效方法，利用文本嵌入来获取基向量并构建表示所有提示的空间，成功解决当前方法缺乏理论基础的问题，取得了在十个公共推理基准上的显著优异表现，为在 LLMs 中进行简单而有效提示的选择提供了牢固而基本的理论框架。

    Jun, 2023

  • 大型语言模型中开发提示工程的潜力释放：综合回顾

    该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

    Oct, 2023

  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 推理的拓扑结构：揭秘思维中的链、树和图

    通过创新的提示技术，自然语言处理领域近年来取得了显著进展，其中，结合结构的提示工程被证明是一种有前景的范例，大大增强了大型语言模型在逻辑、数学推理、规划和创造性写作等任务中的能力。本研究分析了提示执行流程，提出了结构增强型大型语言模型推理方案的分类，并比较了不同设计选择在性能和成本上的差异，同时探讨了提示与知识库等大型语言模型生态系统其他部分之间的理论基础和关系，为未来的提示工程技术的发展提供了帮助。

    Jan, 2024

  • 视觉语言模型中思维链路提示调优

    本文提出了一种基于连锁式思维提示调整的视觉语言建模方法，经过广泛的实验验证，我们的方法在图像分类任务中的泛化能力更强，在单个数据集之外具有更强的可转移性和更强的领域泛化性能，而且在需要更多推理能力的图像文本检索和视觉问答方面表现更好。

    Apr, 2023

  • 基于心理学的思路链引导大型语言模型理解隐喻

    本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中，以推断潜在变量并选择合适的隐喻释义，从而改进了模型的模仿能力。

    Sep, 2022

  • 大型语言模型作为类比推理者

    通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

    Oct, 2023

  • 迭代式提示预训练语言模型进行思维链构建

    本研究探索了一个迭代提示框架，用于让预训练语言模型具有多步推理能力，我们提出了一种基于上下文的迭代提示器，可以动态地合成提示，以捕捉不同推理步骤之间的变化。实验证明，该方法在多步推理方面具有很好的效果。

    Mar, 2022