Sep, 2023

探索大型语言模型在通过思维链路提示进行反思评估方法中的效力

HTML
PDF
TL;DR通过CoT提示方法来评估四个语言模型对第三年医学生反思性文章的打分，结果显示Llama-7b表现最差，均方误差最高，而ChatGPT表现出色，科恩卡帕分数达到0.53。此外，所选模型均优先考虑用户隐私，允许用户删除自己进行的会话。
发现论文，激发创造
  • 大型语言模型的自动思维联想提示

    本论文提出一种基于链式推理的自动提问方法Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT不断匹配或超越需要手动设计演示的CoT范例的性能。

    Oct, 2022

  • 走向理解思路链提示：对重要性的经验研究

    本论文研究了Chain-of-Thought提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到80-90%的性能，并探究了其他理性方面的影响。

    Dec, 2022

  • 大型语言模型是推理教师

    本研究提出了Fine-tune-CoT方法，该方法利用非常大的语言模型以生成推理样本并通过微调来教授较小的模型，从而在较小的模型中实现了大量的推理能力优化。

    Dec, 2022

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 流式批处理下的思维链提示：以案例研究为例

    本研究探讨如何在流式学习环境下对批处理数据进行链状思维提示构建和优化，以实现大型语言模型的复杂推理能力自动化。

    Jun, 2023

  • 大型语言模型的思路链测试

    通过对Chain-of-Thought（CoT）提示方式的研究，我们发现CoT的正确操作和数值是GPT-3在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对CoT提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

    Sep, 2023

  • 迈向更好的思路链引导策略：调研

    我们对Chain-of-Thought (CoT)的关键因素进行了系统和全面的分析，介绍了如何在不同应用中更好地应用CoT提示，并提出了一些建议和未来的研究方向。

    Oct, 2023

  • 应用大型语言模型和思维链路实现自动评分

    该研究通过应用大型语言模型（LLMs），特别是GPT-3.5和GPT-4，结合思维链（CoT），对学生科学评估中的写作回答进行自动评分的应用进行了调查，并专注于克服先前限制研究人员和教育工作者使用自动评估工具的可访问性、技术复杂性和解释性方面的挑战。研究结果表明，GPT-4相对于GPT-3.5在各种评分任务中表现出更高的性能，并且使用CoT能够提高评分准确性，特别是当与项目描述和评分标准一起使用时。

    Nov, 2023

  • 揭示链式思维提示方法的统计基础

    本文从统计估计的角度分析链式思维（CoT）提示及其变体，针对其样本复杂性进行了全面描述。研究表明，在大规模预训练数据集的情况下，CoT 提示形成的估计量等同于贝叶斯估计量，有效解决多步推理问题，并通过实验验证了理论结果。

    Aug, 2024

  • 揭示链式思维提示方法的统计基础

    本研究聚焦于链式思维提示（CoT）在多步推理问题中的有效性，填补了对其样本复杂度的统计分析这一空白。研究引入了一种多步潜在变量模型，表明当预训练数据集足够大时，CoT提示形成的估计器等同于贝叶斯估计器，其统计错误可以分解为提示误差和预训练模型的统计误差。关键发现是，提示误差随着演示样本数量的增加呈指数衰减，展示了这种方法在多步推理中的有效性和潜在影响。

    Aug, 2024